KR102017958B1 - Augmented reality head up display system for railway train - Google Patents

Augmented reality head up display system for railway train Download PDF

Info

Publication number
KR102017958B1
KR102017958B1 KR1020170180755A KR20170180755A KR102017958B1 KR 102017958 B1 KR102017958 B1 KR 102017958B1 KR 1020170180755 A KR1020170180755 A KR 1020170180755A KR 20170180755 A KR20170180755 A KR 20170180755A KR 102017958 B1 KR102017958 B1 KR 102017958B1
Authority
KR
South Korea
Prior art keywords
head
railway vehicle
augmented reality
cab
detection information
Prior art date
Application number
KR1020170180755A
Other languages
Korean (ko)
Other versions
KR20190078944A (en
Inventor
서상준
송규연
Original Assignee
현대로템 주식회사
주식회사 한터기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대로템 주식회사, 주식회사 한터기술 filed Critical 현대로템 주식회사
Priority to KR1020170180755A priority Critical patent/KR102017958B1/en
Publication of KR20190078944A publication Critical patent/KR20190078944A/en
Application granted granted Critical
Publication of KR102017958B1 publication Critical patent/KR102017958B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/009—On-board display devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

본 발명은 철도차량용 증강현실 헤드업 디스플레이 시스템에 관한 것이다.
본 발명의 일 실시예에 따르면, 철도차량의 선두 운전실 및 후부 운전실 각각에 설치된 제1 및 제2 헤드업 디스플레이, 철도차량의 주변환경을 탐지하여 탐지정보를 생성하는 탐지부 및 상기 탐지정보를 이용하여 소정의 참조정보를 표시하도록 증강현실이 적용된 화상을 상기 제1 및 제2 헤드업 디스플레이로 출력시키는 제어부를 포함하는, 철도차량용 증강현실 헤드업 디스플레이 시스템을 제공한다.The present invention relates to an augmented reality head-up display system for railway vehicles.
According to an embodiment of the present invention, the first and second head-up display installed in the head cab and the rear cab of the railroad car, the detector for detecting the surrounding environment of the railroad car to generate detection information and using the detection information And a control unit for outputting an image to which augmented reality is applied to display first reference information to the first and second head-up displays.

Description

철도차량용 증강현실 헤드업 디스플레이 시스템{AUGMENTED REALITY HEAD UP DISPLAY SYSTEM FOR RAILWAY TRAIN}Augmented Reality Head Up Display System for Railroad Vehicles {AUGMENTED REALITY HEAD UP DISPLAY SYSTEM FOR RAILWAY TRAIN}

본 발명은 철도차량용 증강현실 헤드업 디스플레이 시스템에 관한 것이다.The present invention relates to an augmented reality head-up display system for rolling stock.

최근에는 철도차량의 운전자에게 주행 등과 관련된 각종 정보를 빠르고 효과적으로 제공할 수 있는 디스플레이에 대한 요구가 증대되고 있다.Recently, there is an increasing demand for a display capable of providing various information related to driving to a driver of a railway vehicle quickly and effectively.

또한, 기존 철도차량에서 안개 등으로 시야 확보가 어려운 경우, 터널 및 야간 운행 등의 상황에서 운전자는 전방 및 주위 상황을 인지하기 어렵다.In addition, when it is difficult to secure the visibility due to fog, etc. in the existing railway vehicle, it is difficult for the driver to recognize the front and surrounding situation in the tunnel and night driving.

한국 등록특허공보 제10-0528092(2005.11.04.)Korea Patent Publication No. 10-0528092 (2005.11.04.)

본 발명은 카메라 및 센서를 이용하여 선두 및 후부측 운전실의 헤드업 디스플레이에 증강현실 기술을 적용함으로써 차량 안전성을 향상시킬 수 있는 철도차량용 증강현실 헤드업 디스플레이 시스템을 제공하는 것이다.The present invention provides an augmented reality head-up display system for railroad cars that can improve vehicle safety by applying augmented reality technology to the head-up display of the front and rear cab using a camera and a sensor.

본 발명의 일 실시예에 따르면, 철도차량의 선두 운전실 및 후부 운전실 각각에 설치된 제1 및 제2 헤드업 디스플레이, 철도차량의 주변환경을 탐지하여 탐지정보를 생성하는 탐지부 및 상기 탐지정보를 이용하여 소정의 참조정보를 표시하도록 증강현실이 적용된 화상을 상기 제1 및 제2 헤드업 디스플레이로 출력시키는 제어부를 포함하는, 철도차량용 증강현실 헤드업 디스플레이 시스템을 제공한다.According to an embodiment of the present invention, the first and second head-up display installed in each of the front cab and the rear cab of the railroad car, a detector for detecting the surrounding environment of the railroad car to generate detection information and using the detection information And a control unit for outputting an image to which augmented reality is applied to display first reference information to the first and second head-up displays, thereby providing an augmented reality head-up display system for a railway vehicle.

또한, 상기 제어부는, 상기 탐지부를 통하여 철도차량 주위의 탐지정보로 사물데이터를 취득하고, 사물데이터를 분석하여 장애물 여부, 사물 상태 등의 참조정보를 획득하고, 참조정보가 표시될 상기 제1 및 제2 헤드업 디스플레이상의 좌표를 계산하여 해당 위치에 참조정보를 그래픽으로 현시하고, 분석한 참조정보로 위험상황을 판단하여 연계장치의 동작을 실시할 수 있다.The control unit may acquire the thing data using the detection information around the railway vehicle through the detection unit, analyze the thing data to obtain reference information such as whether there is an obstacle or a thing state, and display the first and second reference information. The coordinates on the second head-up display may be calculated to graphically present the reference information at the corresponding position, and the operation of the associated device may be performed by determining the risk situation using the analyzed reference information.

또한, 상기 제어부는, 상기 철도차량의 운행경로상의 현재 위치에 따라 상기 참조정보가 운전자의 시야에 대응되는 위치에 표시되도록 증강현실이 적용된 화상을 출력시킬 수 있다.The control unit may output an image to which augmented reality is applied such that the reference information is displayed at a position corresponding to a driver's field of view according to a current position on a driving route of the railway vehicle.

또한, 상기 제어부는, 상기 철도차량의 선두 운전실 및 후부 운전실 사이의 거리에 따라 시차를 두어 상기 제1 및 제2 헤드업 디스플레이에 상기 증강현실이 적용된 화상을 출력시킬 수 있다.The controller may output an image to which the augmented reality is applied to the first and second head-up displays by providing a time difference according to a distance between the head cab and the rear cab of the railway vehicle.

또한, 상기 탐지부는, 상기 철도차량의 선두 운전실 및 후부 운전실 중 적어도 하나의 주변환경을 탐지하여 상기 탐지정보를 생성할 수 있다.The detector may detect the surrounding environment of at least one of a head cab and a rear cab of the railroad car to generate the detection information.

또한, 상기 탐지부는 상기 선두 운전실 및 상기 후부 운전실 각각의 주변환경에 대한 제1 탐지정보 및 제2 탐지정보를 생성하고, 상기 제어부는, 제1 탐지정보 및 제2 탐지정보를 이용하여 상기 제1 및 제2 헤드업 디스플레이 각각에 증강현실이 적용된 화상을 출력시킬 수 있다.The detection unit may generate first detection information and second detection information regarding the surrounding environment of each of the head cab and the rear cab, and the controller may generate the first detection information and the second detection information by using the first detection information and the second detection information. And an image to which augmented reality is applied to each of the second head-up displays.

또한, 상기 탐지부는, 철도차량의 주변환경을 촬영하는 카메라, 및 철도차량의 주변환경의 사물을 감지하는 센서를 포함할 수 있다.In addition, the detection unit may include a camera for photographing the surrounding environment of the railway vehicle, and a sensor for detecting an object of the surrounding environment of the railway vehicle.

또한, 상기 제어부는, 탐지정보를 이용하여 위험상황을 판단한 후 위험상황 대처를 위한 위험처리 연계기능을 수행할 수 있다.In addition, the controller may determine a risk situation using detection information and then perform a risk processing linkage function for coping with a risk situation.

또한, 상기 제어부는, 위험상황으로 판단시 통신장치 및 제동장치를 포함하는 연계장치의 동작을 자동실행할 수 있다.In addition, the control unit may automatically execute an operation of the associated device including the communication device and the braking device when it is determined as a dangerous situation.

본 발명은 카메라 및 센서를 이용하여 선두 및 후부측 운전실의 헤드업 디스플레이에 증강현실 기술을 적용함으로써 육안으로 분별하기 힘든 전방 정보를 제공하고 위험상황으로 판단시 통신장치 및 제동장치 등의 연계장치 동작을 자동실행함으로써 차량 안전성을 향상시킬 수 있다.The present invention provides a front information that is difficult to discern with the naked eye by applying augmented reality technology to the head-up display of the front and rear cab using a camera and a sensor, and operates a linking device such as a communication device and a braking device when it is determined as a dangerous situation By automatically executing the vehicle safety can be improved.

또한, 본 발명은 선두 운전실 및 후부 운전실 각각에서 근무하는 운전자가 선두 운전실 및 후부 운전실의 실제 주변환경에 대한 참조정보를 시인할 수 있도록 시차를 고려하여 증강현실이 합성된 화상을 출력시킬 수 있다.In addition, the present invention may output an image in which the augmented reality is synthesized in consideration of a parallax so that a driver working in each of the head cab and the rear cab may recognize reference information about the actual surrounding environment of the head cab and the rear cab.

또한, 본 발명은 선두 운전실 및 후부 운전실 각각에서 근무하는 운전자가 선두 운전실 및 후부 운전실 각각의 주변환경에 따른 위험 상황을 인식할 수 있도록 참조정보를 출력시킬 수 있다.In addition, the present invention may output the reference information so that the driver working in each of the head cab and the rear cab can recognize a dangerous situation according to the surrounding environment of the head cab and the rear cab.

도 1은 본 발명의 일 실시예에 따른 철도차량의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 철도차량용 증강현실 헤드업 디스플레이 시스템의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 철도차량용 증강현실 헤드업 디스플레이 시스템의 제어 알고리즘을 나타내는 순서도이다.1 is a view showing the configuration of a railway vehicle according to an embodiment of the present invention.
2 is a view showing the configuration of augmented reality head-up display system for a railway vehicle according to an embodiment of the present invention.
3 is a flowchart illustrating a control algorithm of the augmented reality head-up display system for a railway vehicle according to an embodiment of the present invention.

이하에서는, 본 발명의 바람직한 실시예에 기초하여 본 발명을 보다 구체적으로 설명한다. 그러나, 하기 실시예는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로 이에 의해 본 발명의 권리범위가 축소되거나 한정되는 것은 아니다.Hereinafter, the present invention will be described in more detail based on the preferred embodiments of the present invention. However, the following examples are merely examples to help the understanding of the present invention, whereby the scope of the present invention is not reduced or limited.

도 1은 본 발명의 일 실시예에 따른 철도차량의 구성을 나타내는 도면이다.1 is a view showing the configuration of a railway vehicle according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 철도차량용 증강현실 헤드업 디스플레이 시스템의 구성을 나타내는 도면이다.2 is a view showing the configuration of augmented reality head-up display system for a railway vehicle according to an embodiment of the present invention.

도 1 및 2를 참조하면, 본 발명의 일 실시예에 따른 철도차량용 증강현실 헤드업 디스플레이 시스템는 철도차량(10)의 선두 운전실 및 후부 운전실(70) 각각에 설치된 제1 및 제2 헤드업 디스플레이(110,120), 철도차량(10)의 주변환경을 탐지하여 탐지정보를 생성하는 탐지부(130) 및 탐지정보에 소정의 참조정보를 표시하도록 증강현실이 적용된 화상을 제1 및 제2 헤드업 디스플레이(110,120)로 출력시키는 제어부(140)를 포함할 수 있다.1 and 2, the augmented reality head-up display system for a railway vehicle according to an embodiment of the present invention is the first and second head-up display installed in each of the front cab and the rear cab 70 of the railway vehicle ( 110 and 120, the detection unit 130 for detecting the surrounding environment of the railroad vehicle 10 to generate detection information, and the first and second head-up display of an image to which augmented reality is applied to display predetermined reference information in the detection information. The controller 140 may be output to the 110 and 120.

제1 및 제2 헤드업 디스플레이(110,120) 각각은 윈드실드 또는 컴바이너(combiner, 투명판) 등에 이미지를 반사시켜 참조정보를 제공할 수 있다.Each of the first and second head-up displays 110 and 120 may provide reference information by reflecting an image to a windshield or a combiner.

여기서, 참조정보는 철도차량의 운전자에게 차속, 주행거리 또는 RPM(Revolution Per Minute)과 같은 철도차량정보, 철도차량(10)의 운행경로에 대한 경로정보, 탐지부(130)에서 생성된 탐지정보 등을 포함할 수 있다.Here, the reference information is a vehicle speed, mileage or railway vehicle information such as RPM (Revolution Per Minute) to the driver of the railway vehicle, route information on the driving route of the railway vehicle 10, detection information generated by the detector 130 And the like.

탐지부(130)는 철도차량(10)의 주변환경을 촬영하는 카메라(132) 및 철도차량의 주변환경을 감지하는 센서(134)를 포함할 수 있다. 여기서, 센서(134)는 철도차량의 외부 물체의 위치를 인식(측정)하기 위한 레이다(RADAR, Radio Detecting And Ranging), 라이다(LIDAR, Light Detection And Ranging) 또는 초음파 센서를 포함할 수 있다.The detector 130 may include a camera 132 photographing the surrounding environment of the railroad vehicle 10 and a sensor 134 for sensing the surrounding environment of the railroad vehicle. Here, the sensor 134 may include a radar (Radar Detecting And Ranging), a lidar (LIDAR, Light Detection And Ranging) or an ultrasonic sensor for recognizing (measuring) the position of an external object of the railway vehicle.

레이더는 철도차량(10)의 일측에 장착되어 철도차량(10)의 주변을 향하여 전자기파를 발사하고, 철도차량(10)의 주변에 존재하는 각종 사물에서 반사되는 전자기파를 수신할 수 있다. 예를 들어, 레이더는 사물에 의해 반사되어 돌아온 전자기파의 시간을 측정하여 해당 사물의 거리, 방향, 고도 등과 관련된 정보를 획득할 수 있다.The radar may be mounted on one side of the railroad vehicle 10 to emit electromagnetic waves toward the periphery of the railroad vehicle 10, and may receive electromagnetic waves reflected from various objects existing in the vicinity of the railroad vehicle 10. For example, the radar may acquire information related to distance, direction, altitude, etc. of the object by measuring the time of electromagnetic waves reflected and reflected by the object.

라이다는 철도차량(10)의 일측에 장착되어 철도차량(10)의 주변을 향하여 레이저를 발사할 수 있다. 라이다에 의해 발사된 레이저는 산란되거나 반사되어 철도차량(10)으로 되돌아올 수 있고, 라이다는 레이저가 되돌아오는 시간, 강도, 주파수의 변화, 편광 상태의 변화를 기초로 철도차량(10)의 주변에 위치하는 타겟의 거리, 속도, 형상 등의 물리적 특성에 대한 정보를 획득할 수 있다.The lidar may be mounted on one side of the railroad vehicle 10 to launch a laser toward the periphery of the railroad vehicle 10. The laser fired by the lidar may be scattered or reflected and returned to the railroad vehicle 10, where the lidar is based on the time, intensity, frequency change, and polarization state of the laser return. Information about physical characteristics such as a distance, a speed, and a shape of a target positioned near the can be obtained.

초음파 센서는 철도차량(10)의 일측에 장착되어 철도차량(10)의 주변을 향하여 초음파를 발생시킨다. 초음파 센서에 의해 발생되는 초음파는 주파수(약 20KHz 이상)가 높고 파장이 짧은 특성을 가질 수 있다. 이러한 초음파 센서는 철도차량(10)과 근접한 장애물 등을 인식하는데 이용될 수 있다.The ultrasonic sensor is mounted on one side of the railway vehicle 10 to generate ultrasonic waves toward the periphery of the railway vehicle 10. Ultrasonic waves generated by the ultrasonic sensor may have high frequency (about 20 KHz or more) and short wavelengths. Such an ultrasonic sensor may be used to recognize an obstacle or the like in proximity to the railroad vehicle 10.

이러한, 탐지부(130)는 철도차량(10)의 선두 운전실(60) 및 후부 운전실(70) 중 적어도 하나의 주변환경을 탐지하여 탐지정보를 생성할 수 있다. 이때, 탐지부(130)는 선두 운전실(60) 및 후부 운전실(70) 각각의 주변환경에 대한 제1 탐지정보 및 제2 탐지정보를 생성하여 제어부(140)에 제공할 수 있다.The detection unit 130 may generate detection information by detecting at least one surrounding environment of the front cab 60 and the rear cab 70 of the railroad vehicle 10. In this case, the detection unit 130 may generate the first detection information and the second detection information of the surrounding environment of each of the head cab 60 and the rear cab 70 and provide them to the controller 140.

여기서, 탐지정보는 철도차량이 주행하는 운행경로 상의 레일 정보, 지형 정보, 교통신호 정보, 건널목 정보, 보행자 정보, 장애물 정보 등을 포함하는 개념일 수 있다.Here, the detection information may be a concept including rail information, terrain information, traffic signal information, crossing information, pedestrian information, obstacle information, and the like on a driving route on which a railroad vehicle travels.

도 3을 참조하면, 제어부(140)는 탐지부(130)를 통하여 철도차량(10) 주위의 탐지정보로 사물데이터를 취득하고(S110), 사물데이터를 분석하여 장애물 여부, 사물 상태 등의 참조정보를 획득하고(S120), 참조정보가 표시될 제1 및 제2 헤드업 디스플레이(110,120)상의 좌표를 계산하여 해당 위치에 참조정보를 그래픽으로 현시하고(S130), 분석한 참조정보로 위험상황을 판단하여(S140), 연계장치의 동작을 실시할 수 있다(S150).Referring to FIG. 3, the controller 140 acquires object data as detection information around the railroad vehicle 10 through the detection unit 130 (S110), and analyzes the object data to refer to obstacles, object states, and the like. Obtain the information (S120), calculate the coordinates on the first and second head-up display (110, 120) for which the reference information is to be displayed and present the reference information graphically at the corresponding position (S130), the dangerous situation with the analyzed reference information In operation S140, the operation of the associated device may be performed (S150).

구체적으로, 제어부(140)는 탐지부(130)에서 생성된 탐지정보를 수신하고, 탐지정보로부터 철도차량의 주변환경에 따른 참조정보를 검출할 수 있다. 예를 들면, 제어부(140)는 탐지정보를 분석하여 장애물 여부, 사물 상태 등의 정보를 검출할 수 있다.In detail, the controller 140 may receive detection information generated by the detector 130 and detect reference information according to the surrounding environment of the railway vehicle from the detection information. For example, the controller 140 may analyze the detection information to detect information such as an obstacle or an object state.

또한, 제어부(140)는 철도차량(10)의 운행경로상의 현재 위치에 따라 참조정보가 운전자의 시야에 대응되는 위치에 표시되도록 증강현실이 적용된 화상을 출력시킬 수 있다. 이때, 제어부(140)는 참조정보의 위치를 운전자 시야에 따른 헤드업 디스플레이상의 좌표로 산출할 수 있다. 철도차량(10)의 이동에 따라 탐지부(130)와 참조정보의 위치관계가 변화되므로, 제어부(140)는 철도차량(10)의 위치정보를 반영하여 참조정보를 표시할 헤드업 디스플레이상의 좌표를 산출할 수 있다.In addition, the controller 140 may output an image to which the augmented reality is applied so that the reference information is displayed at a position corresponding to the driver's field of view according to the current position on the driving route of the railroad vehicle 10. In this case, the controller 140 may calculate the position of the reference information as coordinates on the head-up display according to the driver's view. Since the positional relationship between the detector 130 and the reference information changes as the railroad vehicle 10 moves, the controller 140 reflects the positional information of the railroad vehicle 10 to display the reference information. Can be calculated.

또한, 제어부(140)는 철도차량(10)의 선두 운전실(60) 및 후부 운전실(70) 사이의 거리에 따라 시차를 두어 제1 및 제2 헤드업 디스플레이(110,120)에 증강현실이 적용된 화상을 출력시킬 수 있다.In addition, the controller 140 sets a time difference according to the distance between the front cab 60 and the rear cab 70 of the railroad vehicle 10 so as to display an image to which the augmented reality is applied to the first and second head-up displays 110 and 120. Can be printed.

예를 들면, 제어부(140)는 철도차량(10)의 10량으로 이루어져 선두 운전실(60) 및 후부 운전실(70) 사이의 거리가 약 25m인 경우, 선두 운전실(60) 및 후부 운전실(70) 사이의 시차에 따른 헤드업 디스플레이상의 좌표를 계산하여 제1 및 제2 헤드업 디스플레이(110,120) 각각에 계산된 좌표가 적용된 화상을 출력시킬 수 있다.For example, when the distance between the head cab 60 and the rear cab 70 is about 25 m, the control unit 140 is comprised of ten cars of the railroad vehicle 10, the head cab 60 and the rear cab 70. By calculating the coordinates on the head-up display according to the parallax between the first and second head-up display (110, 120) can be output to the image to which the calculated coordinates are applied.

이를 통해, 제어부(140)는 선두 운전실(60) 및 후부 운전실(70) 각각에서 근무하는 운전자가 선두 운전실(60) 및 후부 운전실(70)의 실제 주변환경에 대한 참조정보를 시인할 수 있도록 시차를 고려하여 증강현실이 합성된 화상을 출력시킬 수 있다.As a result, the controller 140 may disparity the driver working in each of the head cab 60 and the rear cab 70 to recognize reference information about the actual surroundings of the head cab 60 and the rear cab 70. In consideration of this, the augmented reality image may be output.

또한, 제어부(140)는 탐지부(130)로부터 수신한 제1 탐지정보 및 제2 탐지정보를 이용하여 제1 및 제2 헤드업 디스플레이(110,120) 각각에 증강현실이 적용된 화상을 개별적으로 출력시킬 수 있다.In addition, the controller 140 separately outputs an image to which augmented reality is applied to each of the first and second head-up displays 110 and 120 using the first detection information and the second detection information received from the detection unit 130. Can be.

예를 들어, 탐지부(130)가 선두 운전실(60)의 주변환경에 대한 제1 탐지정보와, 후부 운전실(70)의 주변환경에 대한 제2 탐지정보를 생성하고, 제어부(140)가 제1 탐지정보를 이용하여 선두 운전실(60)의 제1 헤드업 디스플레이(110)로 선두 운전실(60)의 주변환경을 참조정보로 출력시키고, 제2 탐지정보를 이용하여 후부 운전실(70)의 제2 헤드업 디스플레이(120)로 후부 운전실(70)의 주변환경을 참조정보로 출력시킬 수 있다.For example, the detector 130 generates first detection information about the surrounding environment of the first cab 60 and second detection information about the surrounding environment of the rear cab 70, and the controller 140 generates the first detection information. The first head-up display 110 of the head cab 60 is used as the detection information to output the surrounding environment of the head cab 60 as reference information, and the second head of the rear cab 70 is detected using the second detection information. 2, the surrounding environment of the rear cab 70 may be output as reference information using the head-up display 120.

이를 통해, 제어부(140)는 선두 운전실(60) 및 후부 운전실(70) 각각에서 근무하는 운전자가 선두 운전실(60) 및 후부 운전실(70) 각각의 주변환경에 따른 위험 상황을 인식할 수 있도록 참조정보를 출력시킬 수 있다.In this way, the controller 140 may refer to the driver working in each of the first cab 60 and the rear cab 70 to recognize a dangerous situation according to the surrounding environment of each of the first cab 60 and the rear cab 70. Information can be output.

또한, 제어부(140)는 탐지정보를 이용하여 위험상황을 판단한 후 위험상황 대처를 위한 위험처리 연계기능을 수행할 수 있다.In addition, the controller 140 may determine the risk situation using the detection information and then perform a risk processing linkage function for coping with the risk situation.

여기서, 제어부(140)는 위험상황으로 판단한 경우 위험처리 연계기능의 수행으로 연계장치(위험처리를 위하여 연계 동작시킬 장치)를 동작시킬 수 있다. 예를 들면, 제어부(140)는 위험상황으로 판단시 열차종합제어장치(150)를 제어하여 통신장치 및 제동장치 등의 연계장치의 동작을 자동실행할 수 있다. 이를 통해, 제어부(140)는 차량의 안정성을 향상시킬 수 있다.In this case, the controller 140 may operate the linking device (the device to be linked for the risk processing) by performing the risk processing linkage function when it is determined as the risk situation. For example, the controller 140 may control the train comprehensive control device 150 to automatically execute an operation of a linkage device such as a communication device and a braking device when it is determined as a dangerous situation. Through this, the controller 140 may improve the stability of the vehicle.

본 발명은 카메라 및 센서를 이용하여 선두 및 후부측 운전실의 헤드업 디스플레이에 증강현실 기술을 적용함으로써 육안으로 분별하기 힘든 전방 정보를 제공하고 위험상황으로 판단시 통신장치 및 제동장치 등의 연계장치 동작을 자동실행함으로써 차량 안전성을 향상시킬 수 있다.The present invention provides a front information that is difficult to discern with the naked eye by applying augmented reality technology to the head-up display of the front and rear cab using a camera and a sensor, and operates a linking device such as a communication device and a braking device when it is determined as a dangerous situation By automatically executing the vehicle safety can be improved.

또한, 본 발명은 선두 운전실 및 후부 운전실 각각에서 근무하는 운전자가 선두 운전실 및 후부 운전실의 실제 주변환경에 대한 참조정보를 시인할 수 있도록 시차를 고려하여 증강현실이 합성된 화상을 출력시킬 수 있다.In addition, the present invention may output an image in which the augmented reality is synthesized in consideration of a parallax so that a driver working in each of the head cab and the rear cab may recognize reference information about the actual surrounding environment of the head cab and the rear cab.

또한, 본 발명은 선두 운전실 및 후부 운전실 각각에서 근무하는 운전자가 선두 운전실 및 후부 운전실 각각의 주변환경에 따른 위험 상황을 인식할 수 있도록 참조정보를 출력시킬 수 있다.In addition, the present invention may output the reference information so that the driver working in each of the head cab and the rear cab can recognize a dangerous situation according to the surrounding environment of the head cab and the rear cab.

이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는, 본 발명의 바람직한 실시예을 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.Although the technical idea of the present invention has been described above with the accompanying drawings, the present invention has been described by way of example and is not intended to limit the present invention. In addition, it is obvious that any person skilled in the art may make various modifications and imitations without departing from the scope of the technical idea of the present invention.

10: 철도차량
60: 선두 운전실
70: 후부 운전실
110: 제1 헤드업 디스플레이
120: 제2 헤드업 디스플레이
130: 탐지부
140: 제어부
150: 열차종합제어장치10: railway car
60: lead cab
70: rear cab
110: first head-up display
120: second head-up display
130: detector
140: control unit
150: train control system

Claims (9)

철도차량의 선두 운전실 및 후부 운전실 각각에 설치된 제1 및 제2 헤드업 디스플레이;
레이더, 라이다 또는 초음파 센서 중 어느 하나를 선택하여 구성되고, 철도차량의 주변환경을 탐지하여 탐지정보를 생성하는 탐지부; 및
상기 탐지부를 통하여 철도차량 주위의 탐지정보로 사물데이터를 취득하고, 사물데이터를 분석하여 장애물 여부, 사물 상태 등의 참조정보를 획득하고, 참조정보가 표시될 상기 제1 및 제2 헤드업 디스플레이상의 좌표를 계산하여 해당 위치에 참조정보를 그래픽으로 현시하고, 분석한 참조정보로 위험상황을 판단하여 연계장치의 동작을 실시하는 제어부;
를 포함하고, 상기 제어부는 상기 철도차량의 운행경로상의 현재 위치에 따라 상기 참조정보가 운전자의 시야에 대응되는 위치에 표시되도록 증강현실이 적용된 화상을 출력시키며,
상기 제어부는, 상기 철도차량의 선두 운전실 및 후부 운전실 사이의 거리에 따라 시차를 두어 상기 제1 및 제2 헤드업 디스플레이에 상기 증강현실이 적용된 화상을 출력시키고,
상기 탐지부는 상기 선두 운전실 및 상기 후부 운전실 각각의 주변환경에 대한 제1 탐지정보 및 제2 탐지정보를 생성하고,
상기 제어부는, 제1 탐지정보 및 제2 탐지정보를 이용하여 상기 제1 및 제2 헤드업 디스플레이 각각에 증강현실이 적용된 화상을 출력시키는 철도차량용 증강현실 헤드업 디스플레이 시스템.
First and second head-up displays installed in the front cab and the rear cab of the railway vehicle, respectively;
A detector configured to select any one of a radar, a lidar, or an ultrasonic sensor, and detect detection of a surrounding environment of a railway vehicle to generate detection information; And
Acquiring the object data as the detection information around the railway vehicle through the detection unit, analyzing the object data to obtain reference information such as whether there is an obstacle, a state of the object, etc. A control unit configured to calculate coordinates and present reference information graphically at a corresponding position, and determine a risk situation using the analyzed reference information to perform an operation of the associated device;
The control unit outputs an image to which augmented reality is applied such that the reference information is displayed at a position corresponding to a driver's field of view according to a current position on a driving route of the railway vehicle.
The control unit outputs an image to which the augmented reality is applied to the first and second head-up displays by providing a time difference according to the distance between the head cab and the rear cab of the railway vehicle.
The detection unit generates first detection information and second detection information for the surrounding environment of each of the head cab and the rear cab,
The control unit, the augmented reality head-up display system for a railway vehicle for outputting an image to which augmented reality is applied to each of the first and second head-up display using the first detection information and the second detection information.
삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 탐지부는, 상기 철도차량의 선두 운전실 및 후부 운전실 중 적어도 하나의 주변환경을 탐지하여 상기 탐지정보를 생성하는, 철도차량용 증강현실 헤드업 디스플레이 시스템.
The method of claim 1,
The detection unit, to detect the surrounding environment of at least one of the head cab and the rear cab of the railway vehicle to generate the detection information, augmented reality head-up display system for a railway vehicle.
삭제delete 제1항에 있어서,
상기 탐지부는, 철도차량의 주변환경을 촬영하는 카메라를 포함하는, 철도차량용 증강현실 헤드업 디스플레이 시스템.
The method of claim 1,
The detection unit, including a camera for photographing the surrounding environment of the railway vehicle, augmented reality head-up display system for a railway vehicle.
제1항에 있어서,
상기 제어부는, 탐지정보를 이용하여 위험상황을 판단한 후 위험상황 대처를 위한 위험처리 연계기능을 수행하는, 철도차량용 증강현실 헤드업 디스플레이 시스템.
The method of claim 1,
The control unit, after determining the risk situation using the detection information to perform the risk processing linkage function for coping with the risk situation, augmented reality head-up display system for a railway vehicle.
제8항에 있어서,
상기 제어부는, 위험상황으로 판단시 통신장치 및 제동장치를 포함하는 연계장치의 동작을 자동실행하는, 철도차량용 증강현실 헤드업 디스플레이 시스템.
The method of claim 8,
Wherein the control unit, when the operation determines the risk of automatic operation of the associated device including a communication device and a braking device, augmented reality head-up display system for a railway vehicle.
KR1020170180755A 2017-12-27 2017-12-27 Augmented reality head up display system for railway train KR102017958B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170180755A KR102017958B1 (en) 2017-12-27 2017-12-27 Augmented reality head up display system for railway train

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170180755A KR102017958B1 (en) 2017-12-27 2017-12-27 Augmented reality head up display system for railway train

Publications (2)

Publication Number Publication Date
KR20190078944A KR20190078944A (en) 2019-07-05
KR102017958B1 true KR102017958B1 (en) 2019-10-21

Family

ID=67224942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180755A KR102017958B1 (en) 2017-12-27 2017-12-27 Augmented reality head up display system for railway train

Country Status (1)

Country Link
KR (1) KR102017958B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111619613A (en) * 2020-05-28 2020-09-04 湖南中车时代通信信号有限公司 Take new line to show redundant type LKJ display of function
KR102188462B1 (en) * 2020-07-16 2020-12-08 엠아이엠테크 주식회사 Safe driving assistant system for trains using head-up display and method thereof
EP3958038A1 (en) * 2020-08-21 2022-02-23 Siemens Mobility GmbH Method for monitoring work on railways and warning device for this method
EP3974284A1 (en) 2020-09-29 2022-03-30 Siemens Mobility GmbH Method for representing augmented reality and devices for applying the method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000505397A (en) * 1996-02-27 2000-05-09 イスラエル・エアクラフト・インダストリーズ・リミテツド Fault detection system
JP5323262B2 (en) * 2010-07-20 2013-10-23 三菱電機株式会社 Driver's cab display system and display control method for cab display device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH078625B2 (en) * 1990-02-15 1995-02-01 株式会社島津製作所 Head-up display for railway vehicles
KR100528092B1 (en) 2003-10-15 2005-11-15 한국철도기술연구원 Structure of front glass for railway vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000505397A (en) * 1996-02-27 2000-05-09 イスラエル・エアクラフト・インダストリーズ・リミテツド Fault detection system
JP5323262B2 (en) * 2010-07-20 2013-10-23 三菱電機株式会社 Driver's cab display system and display control method for cab display device

Also Published As

Publication number Publication date
KR20190078944A (en) 2019-07-05

Similar Documents

Publication Publication Date Title
KR102017958B1 (en) Augmented reality head up display system for railway train
JP6189815B2 (en) Traveling line recognition system
US8831867B2 (en) Device and method for driver assistance
JP4475308B2 (en) Display device
JP5204963B2 (en) Solid-state image sensor
KR20180072139A (en) Vehicle and method for controlling thereof
US8885889B2 (en) Parking assist apparatus and parking assist method and parking assist system using the same
US10732420B2 (en) Head up display with symbols positioned to augment reality
CN109643495B (en) Periphery monitoring device and periphery monitoring method
CN105128836A (en) Autonomous emergency braking system and method for recognizing pedestrian therein
KR20080004835A (en) Apparatus and method for generating a auxiliary information of moving vehicles for driver
WO2019008716A1 (en) Non-visible measurement device and non-visible measurement method
CN101500874A (en) Sight-line end estimation device and driving assist device
KR101875922B1 (en) Apparatus for controlling autonomous emergency braking system and method thereof
JP5898539B2 (en) Vehicle driving support system
JP2020093766A (en) Vehicle control device, control system and control program
KR20150096924A (en) System and method for selecting far forward collision vehicle using lane expansion
KR20160029456A (en) Driving support image display method
CN107767698B (en) Method for converting sensor data
KR20170119059A (en) Sensor convergence system in autonomous emergency braking
KR102529555B1 (en) System and method for Autonomous Emergency Braking
KR102298869B1 (en) Apparatus for preventing car collision and method thereof
US20230182722A1 (en) Collision avoidance method and apparatus
JP7217094B2 (en) monitoring device
JP7384147B2 (en) Target object detection device and vehicle equipped with it

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant