KR20210135772A - System and method for notifying traffic signal change on head-up display using vehicle gateway device - Google Patents

System and method for notifying traffic signal change on head-up display using vehicle gateway device Download PDF

Info

Publication number
KR20210135772A
KR20210135772A KR1020200053840A KR20200053840A KR20210135772A KR 20210135772 A KR20210135772 A KR 20210135772A KR 1020200053840 A KR1020200053840 A KR 1020200053840A KR 20200053840 A KR20200053840 A KR 20200053840A KR 20210135772 A KR20210135772 A KR 20210135772A
Authority
KR
South Korea
Prior art keywords
traffic light
vehicle
signal change
traffic
gateway device
Prior art date
Application number
KR1020200053840A
Other languages
Korean (ko)
Other versions
KR102331077B1 (en
Inventor
이헌
Original Assignee
주식회사 디젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디젠 filed Critical 주식회사 디젠
Priority to KR1020200053840A priority Critical patent/KR102331077B1/en
Publication of KR20210135772A publication Critical patent/KR20210135772A/en
Application granted granted Critical
Publication of KR102331077B1 publication Critical patent/KR102331077B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G06Q50/40—

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Disclosed are a system for notifying a driver of a traffic signal change on a head-up display (HUD) using a vehicle gateway device, which enables a driver to know a traffic signal change detected by a server without moving a gaze, and a method thereof. According to the present invention, the system comprises: a traffic light information server acquiring and providing status information of a traffic light in response to a request when the status information of the traffic light is requested; and a vehicle gateway device requesting and receiving the status information of a traffic light from the traffic light information server and analyzing the front image acquired through a camera sensor mounted on the vehicle when the corresponding traffic light exists within a predetermined distance from a vehicle, and displaying graphic data representing a signal change on a front display device of a vehicle windshield when a vehicle stop signal is changed to a green light according to an analysis result of the front image and the status information received from the traffic light information server.

Description

차량 게이트웨이를 이용한 ＨＵＤ 상의 교통신호 변경 알림 시스템 및 방법 {System and method for notifying traffic signal change on head-up display using vehicle gateway device}{System and method for notifying traffic signal change on head-up display using vehicle gateway device}

본 발명은 차량의 게이트웨이 장치를 이용하여 교통신호 변경을 감지하고 증강 현실 HUD(Head-up Display)에 해당 정보를 표시하는 교통신호 변경 알림 시스템 및 방법에 대한 것이다.The present invention relates to a traffic signal change notification system and method for detecting a traffic signal change using a vehicle gateway device and displaying the corresponding information on an augmented reality HUD (Head-up Display).

차량 시스템이 교통신호 변경을 감지하여 운전자에게 알리기 위해, 차량의 게이트웨이가 카메라를 통해 촬영한 영상을 스마트폰으로 전송하면 스마트폰이 영상을 분석하여 신호등이 바뀌었는지 판정하고 신호등이 바뀌었다고 판단되면 차량의 게이트웨이로 알려주는 기술이 개발되었다.In order for the vehicle system to detect and notify the driver of a traffic signal change, the vehicle gateway transmits the image captured by the camera to the smartphone, and the smartphone analyzes the image to determine whether the traffic light has changed. A technology that informs the gateway of the has been developed.

그러나, 종래 기술에 따르면 운전자가 자신의 스마트폰에 신호등 분석을 위한 어플리케이션을 설치해야 하고 차량의 클러스터로 시선을 돌려 신호등 변경 사실을 확인해야 하므로 운전에 방해가 된다는 문제가 있다.However, according to the prior art, there is a problem in that the driver has to install an application for traffic light analysis on his/her smartphone and to check the fact that the traffic light has changed by turning his/her eyes to the cluster of the vehicle.

본 발명은 상기와 같은 종래 기술의 문제점을 해소하기 위한 것으로, 차량 정차중 신호가 변경되는 시점을 차량 게이트웨이와 원격의 서버가 판단하고 증강 현실 HUD를 통해 신호 변경 알림을 제공함으로써, 운전자가 시선을 돌리지 않고도 서버가 감지한 신호 변경 사실을 알 수 있도록 하는 교통신호 변경 알림 시스템 및 방법을 제공하는 것을 목적으로 한다.The present invention is to solve the problems of the prior art as described above, and the vehicle gateway and the remote server determine when the signal is changed while the vehicle is stopped, and provide a signal change notification through the augmented reality HUD, so that the driver's gaze is reduced. An object of the present invention is to provide a traffic signal change notification system and method that allows the server to know the fact of a signal change detected by the server without turning it.

또한, 본 발명은 원격의 서버에 의해 교통신호 변경을 나타내는 상태 정보를 생성함으로써 다른 차 등에 의해 운전자의 시야가 가려지는 경우에도 신호 변경 사실을 감지할 수 있는 교통신호 변경 알림 시스템 및 방법을 제공하는 것을 목적으로 한다.In addition, the present invention provides a traffic signal change notification system and method capable of detecting a signal change even when the driver's view is obscured by another vehicle by generating state information indicating a traffic signal change by a remote server. aim to

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 교통신호 변경 알림 시스템은, 신호등의 상태 정보가 요청되면 상기 요청에 대한 응답으로 상기 신호등의 상태 정보를 획득하여 제공하는 신호등 정보 서버; 및 차량으로부터 소정 거리 내에 신호등이 존재하면 상기 신호등 정보 서버로 해당 신호등의 상태 정보를 요청하여 수신하고 차량에 장착된 카메라 센서를 통해 획득되는 전방 영상을 분석하고, 상기 신호등 정보 서버로부터 수신되는 상태 정보 및 상기 전방 영상의 분석 결과에 따라 차량 정차중 신호가 초록불로 변경되었다고 판단되면, 상기 차량 앞 유리의 전방 표시 장치에 신호 변경을 나타내는 그래픽 데이터를 표시하는 차량 게이트웨이 장치;를 포함할 수 있다.In order to achieve the above object, the traffic signal change notification system according to an embodiment of the present invention is a traffic light information server that obtains and provides the status information of the traffic light in response to the request when the status information of the traffic light is requested. ; and when a traffic light exists within a predetermined distance from the vehicle, the traffic light information server requests and receives status information of the corresponding traffic light, analyzes a front image obtained through a camera sensor mounted on the vehicle, and receives status information from the traffic light information server and a vehicle gateway device that displays graphic data indicating a signal change on a front display device of the windshield of the vehicle when it is determined that the vehicle stop signal is changed to green light according to the analysis result of the front image.

상기 차량 게이트웨이 장치는, 상기 카메라 센서를 통해 획득되는 전방 영상에서 신호등의 위치를 파악하고 상기 전방 표시 장치에 표시되는 그래픽 데이터가 상기 신호등 위치에 오버레이되도록 표시 위치를 설정할 수 있다.The vehicle gateway device may determine the position of the traffic light in the front image obtained through the camera sensor and set the display position so that graphic data displayed on the front display device is overlaid on the traffic light position.

상기 차량 게이트웨이 장치는, 상기 신호등 정보 서버로부터 수신되는 상태 정보 및 상기 전방 영상의 분석 결과에 따라 차량 정차중 신호가 초록불로 변경되었다고 판단되는 경우는, 주행 신호를 송출하여 차량이 출발하도록 제어하고, 상기 신호등 정보 서버로부터 수신되는 상태 정보 및 상기 전방 영상의 분석 결과 중 하나만 신호가 초록불로 변경됨을 나타내는 경우는, 상기 차량의 클러스터에 신호 변경 사실을 표시하고 주행 신호를 송출하지 않을 것이다.When it is determined that the vehicle stop signal is changed to green light according to the state information received from the traffic light information server and the analysis result of the front image, the vehicle gateway device transmits a driving signal to control the vehicle to start, When only one of the state information received from the traffic light information server and the analysis result of the front image indicates that the signal is changed to green light, the fact of the signal change is displayed on the cluster of the vehicle and the driving signal is not transmitted.

본 발명의 일 실시예에 따른 교통신호 변경 알림 방법은, 차량에 탑재되는 차량 게이트웨이 장치가, 차량으로부터 소정 거리 내에 신호등이 존재하는지 판단하는 단계; 소정 거리 내에 신호등이 있으면, 원격의 신호등 정보 서버로 해당 신호등의 상태 정보를 요청하여 수신하는 단계; 상기 차량에 장착된 카메라 센서를 통해 획득되는 전방 영상을 분석하여 신호등의 상태를 분석하는 단계; 및 상기 신호등 정보 서버로부터 수신되는 상태 정보 및 상기 전방 영상의 분석 결과에 따라 차량 정차중 신호가 초록불로 변경되었다고 판단되면, 상기 차량 앞 유리의 전방 표시 장치에 신호 변경을 나타내는 그래픽 데이터를 표시하는 단계;를 포함할 수 있다.A traffic signal change notification method according to an embodiment of the present invention includes: determining, by a vehicle gateway device mounted on a vehicle, whether a traffic light exists within a predetermined distance from the vehicle; if there is a traffic light within a predetermined distance, requesting and receiving status information of the corresponding traffic light from a remote traffic light information server; analyzing a state of a traffic light by analyzing a front image obtained through a camera sensor mounted on the vehicle; and when it is determined that the vehicle stop signal is changed to green light according to the state information received from the traffic light information server and the analysis result of the front image, displaying graphic data indicating the signal change on the front display device of the windshield of the vehicle ; may be included.

본 발명에 의하면, 차량 정차중 신호가 변경되는 시점을 차량 게이트웨이가 판단하고 증강 현실 HUD를 통해 신호 변경 알림을 제공함으로써 운전자가 시선을 돌리지 않고도 서버가 감지한 신호 변경 사실을 알 수 있게 된다.According to the present invention, the vehicle gateway determines when the signal is changed while the vehicle is stopped and provides a signal change notification through the augmented reality HUD, so that the driver can know the change in the signal detected by the server without turning his/her eyes.

또한, 본 발명에 의하면, 원격의 서버에 의해 교통신호 변경을 나타내는 상태 정보를 생성하므로 다른 차 등에 의해 운전자의 시야가 가려지는 경우에도 신호 변경 사실을 감지할 수 있게 된다.In addition, according to the present invention, since the state information indicating the change of the traffic signal is generated by the remote server, the fact of the change of the signal can be detected even when the driver's view is obscured by another vehicle or the like.

도 1은 본 발명의 일 실시예에 따른 교통신호 변경 알림 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 교통신호 변경 알림 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따라 증강 현실 HUD에 교통신호 변경 정보를 표시하는 모습을 예시한 것이다.1 is a view for explaining the configuration of a traffic signal change notification system according to an embodiment of the present invention.
2 is a flowchart for explaining a traffic signal change notification method according to an embodiment of the present invention.
3 is an example of displaying traffic signal change information on an augmented reality HUD according to an embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. Terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When a part "includes" a certain element throughout the specification, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "...means", "...unit", and "module" described in the specification mean a unit that processes at least one function or operation, which is implemented in hardware or software, or is implemented in hardware and software. It can be implemented by combining

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily carry out the embodiments of the present invention. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본 발명에서 차량은 도로에서 주행하는 모든 종류의 이동수단을 포함할 수 있다. 또한, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.In the present invention, the vehicle may include all types of transportation means running on the road. Also, the concept may include an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.

이하에서는, 첨부된 도면을 참조하여 본 발명의 다양한 실시예에 따른 교통신호 변경 알림 시스템 및 방법에 구체적으로 설명하기로 한다.Hereinafter, a traffic signal change notification system and method according to various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 교통신호 변경 알림 시스템의 구성을 설명하기 위한 도면이다.1 is a view for explaining the configuration of a traffic signal change notification system according to an embodiment of the present invention.

도 1을 참조하면, 교통신호 변경 알림 시스템은 차량에 탑재되는 차량 게이트웨이 장치(10)와, 무선 통신을 통해 차량 게이트웨이 장치(10)에 소정 신호등에 대한 상태 정보를 제공하는 신호등 정보 서버(20)를 포함한다.Referring to FIG. 1 , the traffic signal change notification system includes a vehicle gateway device 10 mounted on a vehicle, and a traffic light information server 20 that provides status information about a predetermined traffic light to the vehicle gateway device 10 through wireless communication. includes

신호등 정보 서버(20)는, 차량 게이트웨이 장치(10)로부터 차량 전방의 소정 거리 내에 위치한 신호등의 상태 정보 요청을 수신하고, 이 요청에 대한 응답으로 해당 신호등의 상태 정보를 획득하여 제공한다. 신호등 정보 서버(20)는 게이트웨이 장치(10)로부터 신호등의 위치 정보나 식별 정보를 포함하는 상태 정보 요청 메시지를 수신하고, 신호등의 위치 정보 또는 식별 정보에 의해 특정할 수 있는 신호등의 현재 상태와 이전 상태를 포함하는 상태 정보를 생성한다. 신호등의 상태는 신호등 관제 시스템 등 교통신호를 관리하는 외부의 시스템을 통해서 또는 신호등 정보 서버(20) 내부의 신호등 관리 모듈을 통해 확인할 수 있다.The traffic light information server 20 receives a request for status information of a traffic light located within a predetermined distance in front of the vehicle from the vehicle gateway device 10 , and obtains and provides status information of the corresponding traffic light in response to the request. The traffic light information server 20 receives the status information request message including the location information or identification information of the traffic light from the gateway device 10, and the current state and previous status of the traffic light that can be specified by the location information or identification information of the traffic light. Generates state information including state. The state of the traffic light can be checked through an external system that manages traffic signals, such as a traffic light control system, or through a traffic light management module inside the traffic light information server 20 .

차량 게이트웨이 장치(10)는 차량 내부와 외부 간의 게이트웨이 역할을 하는 장치로서, 카메라 센서(11) 등의 각종 센서와 전자 제어 장치들(12, Electronic Control Unit, 이하 ECU라 함)을 통해 획득한 데이터를 프로세싱하고 신호등 정보 서버(20) 등의 외부 장치와 소정의 정보를 주고 받는다. 또한, 전방 표시 장치(14, Head-up Display, 이하 HUD라 함) 및/또는 클러스터(도시되지 않음)에 교통 신호 변경 알림 등 각종 정보를 출력하도록 제어한다.The vehicle gateway device 10 is a device serving as a gateway between the inside and outside of the vehicle, and data acquired through various sensors such as the camera sensor 11 and electronic control devices 12 (Electronic Control Unit, hereinafter referred to as ECU). and exchanges predetermined information with an external device such as the traffic light information server 20 . In addition, control is performed to output various information such as a traffic signal change notification to a front display device 14 (Head-up Display, hereinafter referred to as HUD) and/or a cluster (not shown).

ECU(12)는 차량 내 EMS(Engine Management System), TCU(Telecommunication Control Unit), HCU(Hybrid Control Unit), BMS(Battery Management System), ECS(Electronic Power Steering), MDPS(Motor Driving Power Steering), LKAS(Lane Keeping Assist System), SCC(Smart cruise control) 등에 설치되어 그 기능을 제어하는 장치로 게이트웨이(10)에 CAN 통신을 통해 연결된다.ECU 12 is an in-vehicle EMS (Engine Management System), TCU (Telecommunication Control Unit), HCU (Hybrid Control Unit), BMS (Battery Management System), ECS (Electronic Power Steering), MDPS (Motor Driving Power Steering), It is installed in a Lane Keeping Assist System (LKAS), a smart cruise control (SCC), etc. and controls its functions, and is connected to the gateway 10 through CAN communication.

각 ECU는 차량의 시동으로 전원이 인가되면 통신을 개시하고, 브로드캐스팅(Broadcasting) 방식인 CAN 통신을 통해 메인 버스에 메시지를 송신한다. 또한, 각 ECU는 협조 제어를 위해 필요한 각종 데이터를 주고 받고, 시스템의 결함 및 통신상의 문제로 인해 발생하는 각종 고장 코드를 저장한다. 그리고, ECU(12)는 차량 진단이나 운행시 소정의 자가 진단 수행하여 고장이 발생되는 경우 해당 고장 코드를 생성하여 게이트웨이 장치(10)로 전달하는 한편, 차량 클러스터의 각종 램프를 점등함으로써 운전자에게 이상 상태를 알릴 수 있다.Each ECU starts communication when power is applied by starting the vehicle, and transmits a message to the main bus through CAN communication, which is a broadcasting method. In addition, each ECU transmits and receives various data necessary for cooperative control, and stores various fault codes generated due to system defects and communication problems. In addition, the ECU 12 performs a predetermined self-diagnosis during vehicle diagnosis or driving and, when a failure occurs, generates a corresponding failure code and transmits it to the gateway device 10 , while turning on various lamps of the vehicle cluster, thereby causing an abnormality to the driver. status can be reported.

게이트웨이 장치는 해당 ECU(12)를 통해 카메라 센서(11), 네비게이션 장치(13), HUD(14), 클러스터 등을 제어하고 각 파트와 데이터를 주고 받을 수 있다.The gateway device may control the camera sensor 11 , the navigation device 13 , the HUD 14 , the cluster, and the like through the corresponding ECU 12 and exchange data with each part.

네비게이션 장치(13)는 차량의 현재 위치에 기초하여 지도 정보를 제공하며, 지도 정보에는 차량 전방에 가까워지는 신호등에 대한 정보가 포함될 것이다.The navigation device 13 provides map information based on the current location of the vehicle, and the map information may include information on traffic lights approaching the front of the vehicle.

차량의 게이트웨이 장치(10)는 네비게이션 장치(13)를 통해 차량 전방의 소정 거리 내에 신호등이 존재하는지를 모니터링한다. 차량으로부터 소정 거리 내에 신호등이 존재하면, 게이트웨이 장치(10)는 신호등 정보 서버(20)로 해당 신호등의 상태 정보를 요청하여 수신한다. 또한, 카메라 센서(11)에 의해 촬영되는 전방 영상을 해당 ECU(12)를 통해 수신한다. The gateway device 10 of the vehicle monitors whether a traffic light exists within a predetermined distance in front of the vehicle through the navigation device 13 . When a traffic light is present within a predetermined distance from the vehicle, the gateway device 10 requests and receives status information of the corresponding traffic light from the traffic light information server 20 . In addition, the front image captured by the camera sensor 11 is received through the ECU 12 .

카메라 센서(11)는 차량에 장착되며 차량의 전방을 촬영하여 영상을 게이트웨이 장치(10)로 제공한다. 게이트웨이 장치(10)는 카메라 센서(11)를 통해 획득되는 전방 영상을 분석하여 소정 거리 내에 있는 신호등의 상태 변화를 파악한다. 또한, 전방 영상에서 신호등이 있는 위치, 신호등의 형상을 추출할 수 있다.The camera sensor 11 is mounted on the vehicle and provides an image to the gateway device 10 by photographing the front of the vehicle. The gateway device 10 analyzes the front image acquired through the camera sensor 11 to detect a change in the state of a traffic light within a predetermined distance. In addition, it is possible to extract the position of the traffic light and the shape of the traffic light from the front image.

게이트웨이 장치(10)는 신호등 정보 서버(20)로부터 수신되는 상태 정보 및 카메라 센서(11)가 촬영하는 전방 영상의 분석 결과에 따라, 운전자에게 어떤 출력 장치를 통해 그리고 어떤 정보를 표시하여 교통신호 변경 알림을 제공할지 결정할 수 있다.The gateway device 10 changes the traffic signal by displaying the information to the driver through an output device and according to the analysis result of the front image captured by the camera sensor 11 and the state information received from the traffic light information server 20 You can decide whether to provide notifications or not.

신호등 정보 서버(20)로부터 수신되는 상태 정보 및 전방 영상의 분석 결과에 따른 신호등 상태 모두 해당 차량 정차중 신호가 초록불로 변경되었음을 나타내는 경우, 게이트웨이 장치(10)는 차량 앞 유리의 HUD(14)에 신호 변경을 나타내는 그래픽 데이터를 표시한다. 이때 차량 앞 유리로 보이는 실제 모습과 연동되는 방식으로 신호 변경 정보를 디스플레이함으로써 운전자가 증강 현실에 의해 신호 변경 알림을 받을 수 있다.When both the state information received from the traffic light information server 20 and the traffic light state according to the analysis result of the front image indicate that the signal while the vehicle is stopped is changed to green light, the gateway device 10 is displayed on the HUD 14 of the vehicle windshield. Displays graphic data indicating signal changes. At this time, by displaying the signal change information in a way that is linked to the actual appearance seen through the vehicle windshield, the driver can receive a signal change notification by augmented reality.

HUD(14)는 차량의 전방 표시 장치로 최근 자동차 분야에서 운전자의 안전과 편의성을 높여 주기 위한 자동차 전자 장비 기술이다. 차량 주행에 필요한 정보를 자동차 앞 유리에 표시하기 위해 정보를 나타내는 그래픽 데이터를 차량 앞 유리창에 반사시키는 방법으로 계기 정보를 한눈에 파악할 수 있도록 한다. 운전자가 계기 정보 등을 확인하기 위해 시선을 돌리지 않을 수 있도록 하므로 주행중 안전을 확보하는 역할을 한다.The HUD 14 is a vehicle's front display device, and is an automotive electronic equipment technology for improving the safety and convenience of a driver in the recent automobile field. In order to display the information necessary for vehicle driving on the windshield of the vehicle, it is possible to grasp the instrument information at a glance by reflecting the graphic data representing the information on the windshield of the vehicle. It plays a role in ensuring safety while driving as it prevents the driver from turning his/her eyes to check instrument information.

도 2는 본 발명의 일 실시예에 따라 차량 게이트웨이 장치를 이용한 교통신호 변경 알림 방법을 설명하기 위한 순서도이고, 도 3은 본 발명의 일 실시예에 따라 증강 현실 HUD에 교통신호 변경 정보를 표시하는 모습을 예시한 것이다.2 is a flowchart for explaining a traffic signal change notification method using a vehicle gateway device according to an embodiment of the present invention, and FIG. 3 is a method for displaying traffic signal change information on an augmented reality HUD according to an embodiment of the present invention. it exemplifies the

단계 S21에서 게이트웨이 장치(10)는 지도상 차량 주행 방향으로 소정 거리 내에 신호등이 존재하는지 판단한다. 신호등의 존재 여부는 네비게이션 모듈(13)로부터의 정보에 따라 감지하거나, 카메라 센서(11)에 의해 촬영되는 전방 영상으로부터 신호등 이미지를 추출하므로써 파악될 수 있다.In step S21, the gateway device 10 determines whether a traffic light exists within a predetermined distance in the driving direction of the vehicle on the map. The presence or absence of a traffic light may be detected by sensing according to information from the navigation module 13 or by extracting a traffic light image from a front image captured by the camera sensor 11 .

단계 S22에서, 게이트웨이 장치(10)가 소정 거리 내에 신호등이 있다고 판단하면, 단계 S23으로 이행하여 원격의 신호등 정보 서버(20)로 해당 신호등의 상태 정보를 요청한다. 이때, 신호등을 특정할 수 있는 식별 정보나 좌표 정보를 신호등 정보 서버(20)로 전송할 필요가 있다.In step S22, if the gateway device 10 determines that there is a traffic light within a predetermined distance, the process proceeds to step S23 and requests status information of the corresponding traffic light from the remote traffic light information server 20. At this time, it is necessary to transmit identification information or coordinate information capable of specifying a traffic light to the traffic light information server 20 .

단계 S24에서는 신호등 정보 서버(20)로부터 해당 신호등의 상태 정보를 수신한다. 상태 정보는 해당 신호등의 식별 정보, 현재 상태, 이전 상태 등을 포함할 수 있다.In step S24, the state information of the corresponding traffic light is received from the traffic light information server 20. The state information may include identification information of a corresponding traffic light, a current state, a previous state, and the like.

단계 S25에서, 신호등 정보 서버(20)로부터 수신한 상태 정보에 따라 차량 정차중 교통 신호가 초록불로 변경되었다고 판단되면 단계 S26으로 이행하고, 그렇지 않으면 단계 S23으로 이행하여 신호등 정보 서버(20)로 해당 신호등의 상태 정보를 다시 요청한다.In step S25, if it is determined that the traffic signal is changed to green light while the vehicle is stopped according to the status information received from the traffic light information server 20, proceed to step S26; otherwise, proceed to step S23 and correspond to the traffic light information server 20 Request the status information of the traffic light again.

단계 S26에서는, 차량에 장착된 카메라 센서(11)를 통해 획득되는 전방 영상을 분석한다. 전방 영상에 신호등이 있는지 여부, 신호등의 어느 색상이 점등되었는지, 신호등의 영상 내 위치, 신호등의 형상 등을 파악한다.In step S26, the front image acquired through the camera sensor 11 mounted on the vehicle is analyzed. Determine whether there is a traffic light in the front image, which color of the traffic light is lit, the location of the traffic light in the image, and the shape of the traffic light.

단계 S27에서, 전방 영상 분석 결과 차량 정차중 교통 신호가 초록불로 변경되었다고 판단되면 단계 S28로 이행하고, 그렇지 않으면 단계 S29로 이행한다.In step S27, if it is determined that the traffic signal is changed to green light while the vehicle is stopped as a result of analyzing the front image, the process proceeds to step S28, otherwise, the process proceeds to step S29.

단계 S28에서는, 증강 현실을 통해 정보를 출력하는 HUD(14)를 통해 신호 변경을 나타내는 그래픽 데이터를 디스플레이함으로써 교통신호 변경 사실을 표시한다.In step S28, the fact of the traffic signal change is displayed by displaying graphic data indicating the signal change through the HUD 14 that outputs information through augmented reality.

증강 현실 HUD 기술은 차량의 윈드 실드의 정해진 위치에 속도나 방향 등의 정보를 표시하는 것에서 더 나아가, 실제 운전자의 시야에 보이는 물체에 HUD 기술로 각종 정보를 오버레이하여 표시하는 기술이다.Augmented reality HUD technology goes beyond displaying information such as speed or direction at a predetermined location of the windshield of the vehicle, and displays various information by overlaying various information on an object visible in the real driver's field of view.

게이트웨이 장치(10)는 카메라 센서(11)를 통해 촬영되는 전방 영상으로부터 신호등의 위치를 파악하고 HUD(14) 상에 표시되는 그래픽 데이터가 실제 신호등 위치에 오버레이되도록 표시 위치를 설정함으로써, 운전자가 앞 유리를 통해 보는 실제 신호등 위치 또는 근처에 신호가 바뀌었음을 알리는 표시를 오버레이할 수 있다.The gateway device 10 determines the position of the traffic light from the front image taken through the camera sensor 11 and sets the display position so that the graphic data displayed on the HUD 14 is overlaid on the actual traffic light position, so that the driver You can overlay an indication that the signal has changed at or near the actual traffic light location seen through the glass.

또한, 증강 현실 HUD(14)를 통한 정보 표시를 위해, 카메라 센서(11)를 통해 촬영되는 전방 영상으로부터 신호등의 형상을 추출하고, 추출된 신호등의 형상에 맞추어 바뀐 신호의 색상을 강조하기 위한 그래픽 데이터를 생성하고 표시할 수 있다. In addition, for information display through the augmented reality HUD 14, the shape of the traffic light is extracted from the front image taken through the camera sensor 11, and a graphic for emphasizing the color of the signal changed according to the shape of the extracted traffic light You can create and display data.

도 3을 참조하면, 증강 현실 HUD(14) 상에 각종 계기 정보(31)가 표시될 뿐만 아니라, 차량의 전방 유리를 통해 보이는 신호등 위치에 신호 변경 사실을 나타내는 그래픽 데이터(30)가 오버레이되어 표시됨을 알 수 있다. 결과적으로, 신호등이 빨간불이어서 차량이 정차중일 때 신호 상태가 초록불로 변경되면 해당 정보가 증강 현실 HUD(40) 상에 표시되며, 운전자로 하여금 현재 주행 상황과 신호등 상황을 인지하도록 할 수 있다.Referring to FIG. 3 , not only various instrument information 31 is displayed on the augmented reality HUD 14, but also graphic data 30 indicating the fact of signal change is displayed overlaid on the location of the traffic light seen through the windshield of the vehicle. can be known As a result, when the signal state is changed to green light when the vehicle is stopped because the traffic light is red, the corresponding information is displayed on the augmented reality HUD 40, allowing the driver to recognize the current driving situation and the traffic light situation.

본 발명이 자율주행중인 차량에 적용되는 경우, 신호등 정보 서버(20)로부터 수신한 상태 정보에 따라, 그리고 전방 영상 분석 결과 신호등이 초록불로 변경되었음이 확인되면, 게이트웨이 장치(10)는 차량이 출발할 수 있도록 주행 신호를 차량내 네트워크를 통해 송출할 수 있다.When the present invention is applied to a vehicle in autonomous driving, when it is confirmed that the traffic light is changed to green light according to the status information received from the traffic light information server 20 and as a result of the front image analysis, the gateway device 10 determines that the vehicle starts The driving signal can be transmitted through the in-vehicle network.

단계 S29는, 신호등 정보 서버(20)로부터 수신한 상태 정보에 의해서는 차량 정차중 교통 신호가 초록불로 변경되었다고 판단되지만, 전방 영상 분석 결과로는 그렇지 않다고 판단되는 경우의 처리로서, 클러스터 화면에 교통신호 변경 사실을 표시한다.Step S29 is a process when it is determined that the traffic signal is changed to green light while the vehicle is stopped according to the state information received from the traffic light information server 20, but it is determined that this is not the case as a result of the forward image analysis. Indicates the fact that the signal has changed.

신호등 정보 서버(20)로부터 수신되는 상태 정보 및 전방 영상의 분석 결과 중 하나만 신호가 초록불로 변경됨을 나타내는 경우는, 자율주행 차량내 네트워크를 통해 주행 신호를 송출하지 않고, 차량의 클러스터에 신호 변경 사실을 표시하여 운전자의 판단에 따라 수동으로 엑셀을 밟아 직접 주행하도록 할 수 있다.When only one of the status information received from the traffic light information server 20 and the analysis result of the front image indicates that the signal is changed to green light, the driving signal is not transmitted through the network in the autonomous vehicle, and the signal is changed to the cluster of the vehicle can be displayed to drive directly by manually stepping on the accelerator according to the driver's judgment.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improved forms of the present invention are also provided by those skilled in the art using the basic concept of the present invention as defined in the following claims. belong to the scope of the right.

10: 차량 게이트웨이 장치
11: 카메라 센서
12: 전자 제어 장치
13: 네비게이션 장치
14: 전방 표시 장치(HUD)
20: 신호등 정보 서버10: vehicle gateway device
11: Camera sensor
12: electronic control unit
13: navigation device
14: Front Indicator (HUD)
20: traffic light information server

Claims (4)

신호등의 상태 정보가 요청되면 상기 요청에 대한 응답으로 상기 신호등의 상태 정보를 획득하여 제공하는 신호등 정보 서버; 및
차량으로부터 소정 거리 내에 신호등이 존재하면 상기 신호등 정보 서버로 해당 신호등의 상태 정보를 요청하여 수신하고 차량에 장착된 카메라 센서를 통해 획득되는 전방 영상을 분석하고, 상기 신호등 정보 서버로부터 수신되는 상태 정보 및 상기 전방 영상의 분석 결과에 따라 차량 정차중 신호가 초록불로 변경되었다고 판단되면, 상기 차량 앞 유리의 전방 표시 장치에 신호 변경을 나타내는 그래픽 데이터를 표시하는 차량 게이트웨이 장치;를 포함하는 것을 특징으로 하는 교통신호 변경 알림 시스템.a traffic light information server for obtaining and providing the status information of the traffic light in response to the request when the status information of the traffic light is requested; and
When a traffic light is present within a predetermined distance from the vehicle, the traffic light information server requests and receives the status information of the corresponding traffic light, analyzes the front image obtained through the camera sensor mounted on the vehicle, and the status information received from the traffic light information server and When it is determined that the vehicle stop signal is changed to green light according to the analysis result of the front image, the vehicle gateway device displays graphic data indicating the signal change on the front display device of the windshield of the vehicle; Signal change notification system. 제1항에 있어서,
상기 차량 게이트웨이 장치는,
상기 카메라 센서를 통해 획득되는 전방 영상에서 신호등의 위치를 파악하고 상기 전방 표시 장치에 표시되는 그래픽 데이터가 상기 신호등 위치에 오버레이되도록 표시 위치를 설정하는 것을 특징으로 하는 교통신호 변경 알림 시스템.According to claim 1,
The vehicle gateway device,
Traffic signal change notification system, characterized in that the position of the traffic light is identified in the front image obtained through the camera sensor and the display position is set so that graphic data displayed on the front display device is overlaid on the position of the traffic light. 제1항에 있어서,
상기 차량 게이트웨이 장치는,
상기 신호등 정보 서버로부터 수신되는 상태 정보 및 상기 전방 영상의 분석 결과에 따라 차량 정차중 신호가 초록불로 변경되었다고 판단되는 경우는, 주행 신호를 송출하여 차량이 출발하도록 제어하고,
상기 신호등 정보 서버로부터 수신되는 상태 정보 및 상기 전방 영상의 분석 결과 중 하나만 신호가 초록불로 변경됨을 나타내는 경우는, 상기 차량의 클러스터에 신호 변경 사실을 표시하고 주행 신호를 송출하지 않는 것을 특징으로 하는 교통신호 변경 알림 시스템.According to claim 1,
The vehicle gateway device,
When it is determined that the vehicle stop signal is changed to green light according to the state information received from the traffic light information server and the analysis result of the front image, a driving signal is transmitted to control the vehicle to start,
When only one of the state information received from the traffic light information server and the analysis result of the front image indicates that the signal is changed to green light, the fact of the signal change is displayed on the cluster of the vehicle and the driving signal is not transmitted Signal change notification system. 차량에 탑재되는 차량 게이트웨이 장치가,
차량으로부터 소정 거리 내에 신호등이 존재하는지 판단하는 단계;
소정 거리 내에 신호등이 있으면, 원격의 신호등 정보 서버로 해당 신호등의 상태 정보를 요청하여 수신하는 단계;
상기 차량에 장착된 카메라 센서를 통해 획득되는 전방 영상을 분석하여 신호등의 상태를 분석하는 단계; 및
상기 신호등 정보 서버로부터 수신되는 상태 정보 및 상기 전방 영상의 분석 결과에 따라 차량 정차중 신호가 초록불로 변경되었다고 판단되면, 상기 차량 앞 유리의 전방 표시 장치에 신호 변경을 나타내는 그래픽 데이터를 표시하는 단계;를 포함하는 것을 특징으로 하는 교통신호 변경 알림 방법.
A vehicle gateway device mounted on a vehicle,
determining whether a traffic light exists within a predetermined distance from the vehicle;
if there is a traffic light within a predetermined distance, requesting and receiving status information of the corresponding traffic light from a remote traffic light information server;
analyzing a state of a traffic light by analyzing a front image obtained through a camera sensor mounted on the vehicle; and
displaying graphic data indicating the signal change on a front display device of the windshield of the vehicle when it is determined that the vehicle stop signal is changed to green light according to the state information received from the traffic light information server and the analysis result of the front image; Traffic signal change notification method comprising a.
KR1020200053840A 2020-05-06 2020-05-06 System and method for notifying traffic signal change on head-up display using vehicle gateway device KR102331077B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200053840A KR102331077B1 (en) 2020-05-06 2020-05-06 System and method for notifying traffic signal change on head-up display using vehicle gateway device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200053840A KR102331077B1 (en) 2020-05-06 2020-05-06 System and method for notifying traffic signal change on head-up display using vehicle gateway device

Publications (2)

Publication Number Publication Date
KR20210135772A true KR20210135772A (en) 2021-11-16
KR102331077B1 KR102331077B1 (en) 2021-11-25

Family

ID=78716983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200053840A KR102331077B1 (en) 2020-05-06 2020-05-06 System and method for notifying traffic signal change on head-up display using vehicle gateway device

Country Status (1)

Country Link
KR (1) KR102331077B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2608665A (en) * 2022-02-22 2023-01-11 Envisics Ltd Head-up display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120029337A (en) * 2010-09-16 2012-03-26 전종훈 System for providing signal-lamp information using wireless communication
KR20170020683A (en) * 2015-08-14 2017-02-23 ㈜리커시브소프트 The system informs the driver signal change

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120029337A (en) * 2010-09-16 2012-03-26 전종훈 System for providing signal-lamp information using wireless communication
KR20170020683A (en) * 2015-08-14 2017-02-23 ㈜리커시브소프트 The system informs the driver signal change

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2608665A (en) * 2022-02-22 2023-01-11 Envisics Ltd Head-up display
GB2608665B (en) * 2022-02-22 2024-01-03 Envisics Ltd Head-up display

Also Published As

Publication number Publication date
KR102331077B1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
JP4882285B2 (en) Vehicle travel support device
US11325471B2 (en) Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program
JP4807263B2 (en) Vehicle display device
JP6241235B2 (en) Vehicle driving support device
CN112771592B (en) Method for warning a driver of a motor vehicle, control device and motor vehicle
JP7307558B2 (en) Vehicle driving control system
JP6218618B2 (en) Driving support device, driving support method, and driving support program
CN107209987B (en) Driver assistance system and method for traffic sign verification
WO2020246113A1 (en) Display control device and display control program
US20220011768A1 (en) Control device and control method
JP2011117842A (en) Vehicle travel guide apparatus, vehicle travel guide method, and computer program
KR101430881B1 (en) Camera equipped with the operating state of the vehicle monitoring device for monitoring vehicle
KR102331077B1 (en) System and method for notifying traffic signal change on head-up display using vehicle gateway device
JP2017129406A (en) Information processing device, smart glass and control method thereof, and computer program
CN113183758A (en) Auxiliary driving method and system based on augmented reality
CN112428921B (en) Continuous downhill road section prompting method and device and vehicle
US20230294517A1 (en) Vehicle display control device, display device, and vehicle display control method
JP2015143929A (en) Communication equipment for vehicle, communication program for vehicle, communication method for vehicle, and communication system for vehicle
JP2019156296A (en) Vehicular display projection device
JP2017004339A (en) Driver support device for vehicle
CN111477025A (en) Signal lamp blind area auxiliary system and control unit and control method thereof
JP2019182169A (en) Vehicle traveling control system
JP7276255B2 (en) Image processing device, program, and image processing system
US20220258759A1 (en) Method and driver assistance system for providing visual information about a first vehicle in an environment of a second vehicle, computer program and computer-readable medium
CN109624989B (en) Vehicle driving assistance system and method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant