KR20160061737A - User treminal for interwoking with gateway installed in a vehicle and and method for guiding a change of traffic signal using smartphone application - Google Patents

User treminal for interwoking with gateway installed in a vehicle and and method for guiding a change of traffic signal using smartphone application Download PDF

Info

Publication number
KR20160061737A
KR20160061737A KR1020140164509A KR20140164509A KR20160061737A KR 20160061737 A KR20160061737 A KR 20160061737A KR 1020140164509 A KR1020140164509 A KR 1020140164509A KR 20140164509 A KR20140164509 A KR 20140164509A KR 20160061737 A KR20160061737 A KR 20160061737A
Authority
KR
South Korea
Prior art keywords
traffic signal
vehicle
image information
change
gateway
Prior art date
Application number
KR1020140164509A
Other languages
Korean (ko)
Other versions
KR102310291B1 (en
Inventor
차봉현
신언용
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140164509A priority Critical patent/KR102310291B1/en
Publication of KR20160061737A publication Critical patent/KR20160061737A/en
Application granted granted Critical
Publication of KR102310291B1 publication Critical patent/KR102310291B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring
    • G06Q50/40—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages

Abstract

The present invention relates to a system and a method for notification of a change in a traffic signal by using a smartphone application, which notify a change in a traffic signal to a driver via a user terminal, such as a smartphone, operating in conjunction with a wired or wireless gateway by using the Wi-Fi wired or wireless gateway without installing an additional device in a vehicle in the case of a low-cost vehicle in which an AVN is not installed. The user terminal comprises: a wireless communication module which receives image information, in which a traffic signal is photographed, from a gateway installed in a vehicle via short-distance wireless communication; an image processing unit which receives the image information from the wireless communication module, detects a pattern indicating the traffic signal from the image information by using an image processing algorithm, and recognizes a change in color of the detected pattern; a control unit which determines a change in the traffic signal based on a result of the recognition of the image processing unit; and an output unit which outputs an alarm notifying the change of the traffic signal, based on a result of the determination of the control unit.

Description

차량 내에 설치된 게이트웨이와 연동하는 사용자 단말 및 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법{USER TREMINAL FOR INTERWOKING WITH GATEWAY INSTALLED IN A VEHICLE AND AND METHOD FOR GUIDING A CHANGE OF TRAFFIC SIGNAL USING SMARTPHONE APPLICATION}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a traffic signal change guidance method using a user terminal and a smart phone application interlocked with a gateway installed in a vehicle,

본 발명은 차량 내에 설치된 게이트웨이와 연동하는 사용자 단말 및 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법에 관한 것으로서, 더욱 상세하게는, 교통 신호가 주행에서 정지로 변경 시 이를 운전자에게 안내하는 교통 신호 변경 안내 시스템 및 그 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a traffic signal change guidance method using a user terminal and a smart phone application interlocked with a gateway installed in a vehicle, and more particularly, System and method thereof.

운전자가 피곤한 상태이거나 또는 운전 이외의 다른 생각을 할 때, 운전자는 교통 신호가 주행에서 정지로 변경되는 상황을 빠르게 인지하지 못하는 경우가 있을 수 있다.When the driver is tired or is thinking other than driving, the driver may not be able to quickly recognize the situation in which the traffic signal changes from driving to stopping.

이러한 상황은 교통 사고로 이어질 수 있는데, 이런 상황을 방지하기 위해, 교통신호가 주행에서 정지로 변경되는 상황을 운전자에게 안내해주는 기능이 차량에 설치된다면, 매우 유용할 것이다.This situation can lead to traffic accidents. To prevent this situation, it would be very useful if the vehicle is equipped with the function of guiding the driver to the situation that the traffic signal changes from driving to stopping.

이런 기능을 구현하기 위한, 카메라, 화상 처리 장치, 표시 기능 등을 가진 특정 장치를 차량에 장착하는 방안을 고려해 볼 수 있다.To implement such a function, it is possible to consider mounting a specific device having a camera, an image processing device, a display function, and the like in the vehicle.

그러나, 카메라와 화상 처리 장치, 표시 기능 등과 같은 특정 장치들을 차량에 장착하는 것은 차량의 제조 원가, 제조 시간 등의 상승으로 인해 실제 적용하기에는 무리가 있다.
However, mounting of specific devices such as a camera, an image processing device, a display function, and the like on a vehicle is not practical due to an increase in manufacturing costs and manufacturing time of the vehicle.

본 발명의 목적은 AVN 등이 장착되지 않은 저가 차량의 경우에 대해 Wi-Fi 유무선 게이트웨이를 이용하여 추가적인 장치를 차량에 장착하지 않고, 상기 유무선 게이트웨이와 연동하는 스마트 폰과 같은 사용자 단말을 통해 교통 신호의 변경을 운전자에게 안내하는 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 시스템 및 그 방법에 관한 것이다.
It is an object of the present invention to provide a wireless communication system and a wireless communication method capable of transmitting traffic signals through a user terminal such as a smart phone interlocked with the wired / wireless gateways, without attaching additional devices to a vehicle using a Wi-Fi wired / wireless gateway, The present invention relates to a traffic signal change guidance system using a smartphone application and a method thereof.

상술한 목적을 달성하기 위한 본 발명의 일면에 따른 차량의 게이트웨이와 연동하는 사용자 단말은, 차량에 설치된 게이트웨이로부터 교통 신호등을 촬영한 영상 정보를 근거리 무선 통신으로 수신하는 무선 통신 모듈과, 상기 무선 통신 모듈로부터 상기 영상 정보를 전달받고, 영상 처리 알고리즘을 이용하여 상기 영상 정보로부터 상기 교통 신호등을 나타내는 패턴을 검출하고, 검출된 패턴에 대한 색 변화를 인식하는 영상 처리부와, 상기 영상 처리부의 인식 결과에 따라 교통 신호의 변경을 판단하는 제어부 및 상기 제어부의 판단 결과에 따라 상기 교통 신호의 변경을 알리는 경보를 출력하는 출력부를 포함한다.According to an aspect of the present invention, there is provided a user terminal coupled to a gateway of a vehicle, the wireless terminal including: a wireless communication module for receiving image information obtained by capturing a traffic signal from a gateway installed in a vehicle by near field communication; An image processing unit receiving the image information from the module, detecting a pattern representing the traffic light from the image information using an image processing algorithm, and recognizing a color change with respect to the detected pattern; A control unit for determining a change of the traffic signal and an output unit for outputting an alarm informing the change of the traffic signal according to the determination result of the control unit.

본 발명의 다른 일면에 따른 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법은 상기 사용자 단말에 설치된 교통 신호 변경 안내를 위한 애플리케이션(이하, 앱)이 실행되는 단계와, 상기 앱이 실행되면, 상기 사용자 단말에서, 상기 차량의 전방의 교통 신호등을 촬영한 영상 정보에 대한 전송을 상기 게이트웨이에 요청하는 단계와, 상기 게이트웨이에서, 상기 요청에 따라 상기 영상 정보를 상기 사용자 단말에 전송하는 단계와, 상기 사용자 단말에서, 영상 처리 알고리즘을 이용하여 상기 전송받은 상기 영상 정보에 포함된 교통 신호등을 나타내는 패턴을 검출하고, 검출된 패턴에 대한 색 변화를 인식하여, 교통 신호 변경 여부를 확인하는 단계 및 상기 사용자 단말에서, 상기 교통 신호 변경을 확인하면, 확인 결과를 시각적 또는 청각적 정보로 운전자에게 제공하는 단계를 포함한다.
In another aspect of the present invention, there is provided a traffic signal change guidance method using a smartphone application, comprising: executing an application (hereinafter, referred to as an application) for a traffic signal change guide installed in the user terminal; The method comprising the steps of: requesting the gateway to transmit image information of a traffic signal light in front of the vehicle; transmitting the image information to the user terminal at the gateway in response to the request; Detecting a pattern representing a traffic signal included in the transmitted image information using an image processing algorithm, recognizing a color change of the detected pattern, confirming whether or not the traffic signal is changed, , And if the change of the traffic signal is confirmed, the confirmation result is visually or audibly And providing the driver with the information.

본 발명에 따르면, 교통 신호를 확인하데 있어, 햇빛으로 인한 눈부심과 같은 불편함 없이 교통 신호의 변경을 알 수 있고, 교통 신호의 변경을 늦게 인지함에 따라 발생하는 사고를 방지함으로써, 안전 운전에 도움이 된다.
According to the present invention, it is possible to know the change of the traffic signal without any inconvenience such as glare due to sunlight, and to prevent an accident caused by late recognition of the change of the traffic signal. .

도 1은 본 발명의 일 실시 예에 따른 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 시스템을 나타내는 블록도이다.
도 2는 도 1에 도시된 사용자 단말의 내부 구성을 개략적으로 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 교통 신호 변경 안내를 위해, 도 1에 도시된 게이트웨이에서 수행되는 동작 과정을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 교통 신호 변경 안내를 위해, 도 1에 도시된 사용자 단말에서 수행되는 동작 과정을 설명하기 위한 순서도이다.1 is a block diagram illustrating a traffic signal change guidance system using a smartphone application according to an embodiment of the present invention.
FIG. 2 is a block diagram schematically showing the internal configuration of the user terminal shown in FIG. 1. FIG.
FIG. 3 is a flowchart illustrating an operation procedure performed by the gateway shown in FIG. 1 for traffic signal change guidance according to an embodiment of the present invention.
FIG. 4 is a flowchart illustrating an operation procedure performed by the user terminal shown in FIG. 1 for traffic signal change guidance according to an exemplary embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세 기술한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 시스템을 나타내는 블록도이다.1 is a block diagram illustrating a traffic signal change guidance system using a smartphone application according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 시스템(300)은 차량(100)과, 상기 차량(100)으로부터 교통 신호등을 촬영한 영상 정보를 수신하고, 영상 처리 알고리즘을 이용하여 수신된 영상 정보를 처리하여, 상기 교통 신호등에서 표시하는 교통 신호의 변경을 인식하여, 상기 교통 신호의 변경을 운전자에게 알리는 사용자 단말(200)을 포함한다.Referring to FIG. 1, a traffic signal change guidance system 300 using a smartphone application according to an embodiment of the present invention includes a vehicle 100, and a controller 100 for receiving image information of a traffic light from the vehicle 100 And a user terminal 200 for processing the received image information using an image processing algorithm, recognizing a change in a traffic signal displayed in the traffic signal, and informing a driver of a change in the traffic signal.

먼저, 차량(100)에는, 도 1에 도시된 바와 같이, 영상 획득부(110), 전자 제어 유닛(120) 및 게이트웨이(130)가 구비된다. First, the vehicle 100 is provided with an image acquisition unit 110, an electronic control unit 120, and a gateway 130, as shown in FIG.

영상 획득부(110)는 상기 차량(100)의 전방을 촬영하도록 상기 차량(100)의 소정 위치에 설치되어, 차량 전방의 교통 신호등을 촬영한 영상 정보를 생성하는 구성으로서, 일례로, 카메라 모듈일 수 있다.The image acquiring unit 110 is provided at a predetermined position of the vehicle 100 so as to photograph the front of the vehicle 100 and generates image information of a traffic signal light in front of the vehicle. Lt; / RTI >

전자 제어 유닛(120)은 차량의 시동 및 차량 속도 등을 제어하는 구성으로서, 차량의 시동 상태를 관리하는 SMK(SMart Key) 시스템, 차량 속도 등을 제어하는 EMS(Engine Management System), ABS(Anti-lock Brake System) 등을 포함할 수 있다.The electronic control unit 120 includes a SMK (SMart Key) system for managing the starting state of the vehicle, an EMS (Engine Management System) for controlling the vehicle speed and the like, an ABS -lock Brake System).

게이트웨이(130)는 상기 영상 획득부(110)로부터의 상기 영상 정보와 상기 전자 제어 유닛(120)으로부터의 시동 상태 정보, 차량 속도 정보 등을 전달받아서, 차량이 현재 주행 상태인지 정지 상태인지를 판단하고, 판단 결과, 주행 상태인 경우, 사용자 단말(200)로 상기 영상 정보의 전송하고, 주행 상태에서 정지 상태로 전환되면, 상기 영상 정보의 전송을 중단한다.The gateway 130 receives the image information from the image acquiring unit 110 and the starting state information and the vehicle speed information from the electronic control unit 120 to determine whether the vehicle is in the current traveling state or the stopping state If it is determined that the vehicle is in the traveling state, the image information is transmitted to the user terminal 200, and when the vehicle is switched from the traveling state to the stop state, the transmission of the image information is interrupted.

이를 위해, 상기 게이트웨이(130)는 제1 내지 제3 통신 모듈(132~136) 및 이들 통신 모듈들의 전반적인 동작 및 각 통신 모듈을 통해 전달받은 데이터들을 처리하는 제어 모듈(130)을 포함한다. To this end, the gateway 130 includes first to third communication modules 132 to 136 and a control module 130 for processing the overall operation of the communication modules and the data received through each communication module.

상기 제1 통신 모듈(132)은 상기 영상 획득부(110)로부터 제1 통신 방식에 따라 상기 영상 정보를 수신하는 구성으로서, 제1 통신 방식은, 예를 들면, 이더넷 통신 방식일 수 있다. 이하, 제 1 통신 모듈(132)을 이더넷 통신 모듈이라 한다. The first communication module 132 receives the image information from the image acquisition unit 110 according to a first communication method. The first communication method may be, for example, an Ethernet communication method. Hereinafter, the first communication module 132 is referred to as an Ethernet communication module.

상기 제2 통신 모듈(134)은 상기 사용자 단말(200)로부터 상기 영상 정보의 전송 요청(이하, 영상 정보 전송 요청)을 수신하고, 수신된 영상 정보 전송 요청에 응답하여, 상기 제1 통신 모듈(132)을 통해 수신한 영상 정보를 제2 통신 방식에 따라 상기 사용자 단말(200)로 송신한다. 여기서, 제2 통신 방식은, 예를 들면, Wi-Fi 통신 방식과 같은 근거리 무선 통신 방식일 수 있다. 이하, 제2 통신 모듈(134)을 Wi-Fi 통신 모듈이라 한다. The second communication module 134 receives a request for transmission of the image information from the user terminal 200 and transmits the request for transmission of the image information to the first communication module 132 to the user terminal 200 according to the second communication method. Here, the second communication method may be, for example, a short-range wireless communication method such as a Wi-Fi communication method. Hereinafter, the second communication module 134 is referred to as a Wi-Fi communication module.

상기 제3 통신 모듈(136)은 CAN(Controller Area Network)과 같은 차량 네트워크 통신 방식을 이용하여 상기 SMK 시스템으로부터 시동 상태 정보와, 상기 EMS 및 상기 ABS 등으로부터 차량 속도 정보 등을 수신한다. 이하, 제3 통신 모듈을 CAN 통신 모듈이라 한다.The third communication module 136 receives start state information from the SMK system and vehicle speed information from the EMS and the ABS using a vehicle network communication method such as a CAN (Controller Area Network). Hereinafter, the third communication module is referred to as a CAN communication module.

상기 제어 모듈(138)은 상기 Wi-Fi 통신 모듈(134)을 통해 사용자 단말(200)로부터 수신된 상기 영상 정보 전송 요청에 따라 상기 이더넷 통신 모듈(132)을 통해 영상 획득부(110)로부터 전달받은 영상 정보를 상기 Wi-Fi 통신 모듈(136)을 통해 상기 사용자 단말(200)로 전송한다. 이때, 상기 제어 모듈(138)은 CAN 통신 모듈을 통해 수신한 시동 상태 정보에 기초해 차량의 시동 여부, 차량의 주행 상태 여부를 판단하여, 차량의 시동이 ON 상태이고, 차량이 주행 상태인 경우에 상기 영상 정보를 상기 사용자 단말(200)로 전송한다. The control module 138 transmits the image information from the image acquisition unit 110 through the Ethernet communication module 132 in response to the image information transmission request received from the user terminal 200 through the Wi-Fi communication module 134 And transmits the received image information to the user terminal 200 through the Wi-Fi communication module 136. [ At this time, the control module 138 determines whether the vehicle is started or not based on the startup state information received via the CAN communication module, and if the vehicle is in the ON state and the vehicle is in the traveling state And transmits the image information to the user terminal 200.

상기 사용자 단말(200)은 수신한 영상 정보를 이용하여, 주행 상태에서 정지 상태로의 변경을 알리는 교통 신호 변경을 판단하고, 그 판단 결과에 따라 운전자 에게 교통 신호 변경을 알린다. 이러한 사용자 단말(200)에서 수행되는 처리 과정에 대한 설명은 도 2를 참조하여 설명하기로 한다. Using the received image information, the user terminal 200 determines a change of a traffic signal indicating a change from a running state to a stopped state, and informs the driver of a traffic signal change according to the determination result. The process performed by the user terminal 200 will be described with reference to FIG.

도 2는 도 1에 도시된 사용자 단말의 내부 구성을 개략적으로 나타내는 블록도이다.FIG. 2 is a block diagram schematically showing the internal configuration of the user terminal shown in FIG. 1. FIG.

도 2를 참조하면, 사용자 단말(200)에는 교통 신호 변경을 안내하기 위한 애플리케이션(이하, 교통 신호 변경 안내 앱)이 탑재되며, 운전자의 조작에 따라 상기 애플리케이션이 실행되면, 2, an application (hereinafter, referred to as a traffic signal change guidance application) for guiding a traffic signal change is mounted on the user terminal 200. When the application is executed according to a driver's operation,

사용자 단말(200)에 포함된 Wi-Fi 통신 모듈(210), 영상 처리부(220), 제어부(230) 및 출력부(240)로 이루어진 하드웨어 구성들(210, 220, 230, 240)을 이용하여 교통 신호 변경을 운전자에게 알리기 위한 일련의 동작을 수행한다. Using the hardware configurations 210, 220, 230, and 240 including the Wi-Fi communication module 210, the image processing unit 220, the control unit 230, and the output unit 240 included in the user terminal 200 And performs a series of operations for informing the driver of the traffic signal change.

Wi-Fi 통신 모듈(210)은 교통 신호 변경 안내 앱이 실행되면, Wi-Fi 통신을 이용하여 게이트웨이(130)에 통신 연결을 시도하고, 통신 연결이 성공하면, 게이트웨이(130)에 영상 정보 전송 요청을 전송하고, 상기 영상 정보 전송 요청에 따라, 상기 게이트웨이(130)로부터 영상 정보를 수신한다. When the traffic signal change guide application is executed, the Wi-Fi communication module 210 tries to establish a communication connection with the gateway 130 using the Wi-Fi communication. If the communication connection is successful, the Wi- And receives image information from the gateway 130 according to the image information transmission request.

영상 처리부(220)는 Wi-Fi 통신 모듈(210)을 통해 수신된 영상 정보를 전달받고, 소정의 영상 처리 알고리즘을 이용하여 전달받은 영상 정보에 포함된 교통 신호등에 대응하는 패턴을 분리하고, 교통 신호의 변경을 인식하기 위해 상기 분리된 패턴의 색 분포 변화를 판단한다. 상기 패턴을 분리하고, 분리된 패턴의 색 분포 변화를 판단함에 있어, 다양한 영상 처리 알고리즘이 사용될 수 있다. The image processing unit 220 receives the image information received through the Wi-Fi communication module 210, separates a pattern corresponding to a traffic signal included in the received image information using a predetermined image processing algorithm, And determines a color distribution change of the separated pattern to recognize a change in the signal. Various image processing algorithms can be used in separating the patterns and determining a change in the color distribution of the separated patterns.

일례로, 상기 영상 정보를 HSI 또는 YCbCr 색 공간에서 표현하고, HSV 및 YCbCr 색 공간에서 후보 영역을 설정하고, 설정된 후보 영역으로부터 좀 더 정확한 검출을 위해 알맞은 크기의 후보 영역만 골라 좌표를 추출하고, 추출된 좌표로부터 교통 신호등의 특징에 맞는 좌표를 상기 교통 신호등에 대응하는 패턴을 분리할 수 있다. 이와 같이, 분리된 패턴은 HSI 또는 YCbCr 색 공간에서 표현되기 때문에, 패턴의 색 분포 변화를 판단할 수 있다.For example, the image information may be expressed in an HSI or YCbCr color space, a candidate region may be set in the HSV and YCbCr color spaces, coordinates may be extracted by selecting only a candidate region of an appropriate size for more accurate detection from the set candidate region, The coordinates corresponding to the characteristics of the traffic lights can be separated from the extracted coordinates by the patterns corresponding to the traffic lights. Thus, since the separated pattern is expressed in the HSI or YCbCr color space, it is possible to judge a change in the color distribution of the pattern.

상기 제어부(230)는 상기 영상 처리부(220)의 판단 결과에 따라 교통 신호의 변경을 판단한다. 예컨대, 상기 제어부(230)는 상기 영상 처리부(220)로부터, 주행을 나타내는 청색 분포에서 정차에 나타내는 적색 분포로의 색 분포 변화를 판단한 판단 결과를 전달받으면, 이 판단 결과로부터 주행을 지시하는 청색 등에서 정차를 지시하는 적생등으로의 교통 신호 변경을 판단한다. 교통 신호 변경을 판단하면, 상기 제어부(230)는 교통 신호 변경에 대응하는 안내 개시 신호를 출력한다.The control unit 230 determines a change of a traffic signal according to the determination result of the image processing unit 220. For example, when the control unit 230 receives from the image processing unit 220 the determination result of the change of the color distribution from the blue color distribution representing the driving to the red color distribution represented by the stop color, It is judged that the traffic signal changes to the red flag indicating the stop. When it is determined that the traffic signal is changed, the controller 230 outputs a guidance start signal corresponding to the traffic signal change.

상기 출력부(240)는 상기 제어부(230)로부터의 안내 개시 신호에 응답하여, 교통 신호 변경을 알리는 안내를 시각적 또는 청각적인 정보로 출력한다. 이를 위해, 상기 출력부(240)는 액정 표시 장치, 스피커 등일 수 있다. In response to the guidance start signal from the control unit 230, the output unit 240 outputs the guidance informing the traffic signal change as visual or auditory information. For this, the output unit 240 may be a liquid crystal display, a speaker, or the like.

이와 같이, 본 발명에 따르면, 차량에 별도의 영상 처리 장치, 표출 장치의 장착 없이도, 운전자가 사용자 단말(200)을 통해 교통 신호등이 주행등에서 정지등으로의 변경을 인지할 수 있다. As described above, according to the present invention, it is possible for a driver to recognize a change of a traffic signal or the like to a stop or the like through the user terminal 200 without attaching a separate image processing apparatus and display apparatus to the vehicle.

따라서, 운전자가 교통 신호의 변경에 신속하게 대응하지 못하여 발생하는 교통 사고를 미연에 예방하고, 햇빛 등으로 교통 신호등의 판별이 어려움이 있는 경우에도 편리하게 교통 신호의 변경을 인지할 수 있게 된다.Accordingly, it is possible to prevent a traffic accident that occurs due to a driver not responding to a change of a traffic signal quickly, and to recognize a change of a traffic signal conveniently even when it is difficult to discriminate a traffic light due to sunlight or the like.

이하, 도 3 및 도 4를 참조하여, 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법에 대해 상세 기술한다. Hereinafter, a traffic signal change guidance method using a smartphone application will be described in detail with reference to FIG. 3 and FIG.

도 3은 본 발명의 일 실시 예에 따른 교통 신호 변경 안내를 위해, 도 1에 도시된 게이트웨이(130)에서 수행되는 동작 과정을 설명하기 위한 순서도이다. FIG. 3 is a flowchart illustrating an operation procedure performed by the gateway 130 shown in FIG. 1 for traffic signal change guidance according to an exemplary embodiment of the present invention.

도 3을 참조하면, 게이트웨이(130)에서, 사용자 단말로(200)과의 Wi-Fi 통신을 위한 통신 연결을 구성하는 과정이 수행된다(S311).Referring to FIG. 3, a process of configuring a communication connection for Wi-Fi communication with the user terminal 200 is performed in the gateway 130 (S311).

이어, 통신 연결 구성이 완료되면, 사용자 단말(200)에 자신의 ID를 전송한다(S313).Then, when the communication connection is completed, the user ID is transmitted to the user terminal 200 (S313).

이어, 상기 사용자 단말(200)에서 상기 ID에 대한 인증이 성공하면, 상기 사용자 단말(200)로부터의 영상 정보 전송 요청 신호에 대한 수신 여부를 확인한다(S315).If the authentication of the ID is successfully performed in the user terminal 200, it is checked whether the user terminal 200 receives the video information transmission request signal from the user terminal 200 in step S315.

이어, 확인결과, 상기 사용자 단말(200)로부터 상기 영상 정보 전송 요청 신호를 수신하면, 게이트웨이(130)가 CAN 통신 방식을 이용하여 SMK, EMS, ABS에게 차량의 현재 시동 상태 정보와 속도 정보를 요청하여, 이들을 수신한다(S317).When the gateway 130 receives the video information transmission request signal from the user terminal 200, the gateway 130 requests the SMK, the EMS, and the ABS for the current starting state information and the speed information of the vehicle using the CAN communication method And receives them (S317).

이어, 게이트웨이(130)에서, SMK로부터 수신된 시동 정보를 토대로 차량이 시동 온 상태인지 여부를 판단한다(S319).Next, the gateway 130 determines whether the vehicle is in the start-up state based on the start information received from the SMK (S319).

판단결과, 차량이 시동 온 상태이면, 게이트웨이(130)는 EMS(500)로부터 수신된 속도 정보 등을 기초로 차량의 정지 여부를 판단한다(S321).As a result of the determination, if the vehicle is in the start-up state, the gateway 130 determines whether the vehicle is stopped based on the speed information or the like received from the EMS 500 (S321).

판단결과, 차량이 주행 상태이면, 차량이 주행 상태에서 정지 상태인 신호 대기 상태로 인식하여 이더넷 통신 방식을 이용하여 영상 획득부(110)에게 교통 신호등을 촬영한 영상 정보를 요청한다(S323).If it is determined that the vehicle is in a running state, the vehicle recognizes the vehicle as being in a signal-waiting state, which is a stop state, and requests the image obtaining unit 110 to obtain image information of a traffic light signal using the Ethernet communication method (S323).

이어, 게이트웨이(130)에서, 상기 전달받은 영상 정보를 Wi-Fi 프로토콜과 같은 근거리 무선 통신 규격에 따라 변환하여, 근거리 무선통신방식을 이용하여 사용자 단말(200)에 전송한다(S325).Next, the gateway 130 converts the received image information according to a local wireless communication standard such as Wi-Fi protocol, and transmits the converted image information to the user terminal 200 using a local wireless communication method (S325).

이어, 게이트웨이(130)에서는, 사용자 단말(200)로부터 상기 영상 정보에 대한 전송 중지 요청에 대한 수신여부를 확인한다(S327).Next, the gateway 130 confirms whether the transmission request for the video information is received from the user terminal 200 (S327).

이어, 확인 결과, 게이트웨이(130)에서, 상기 영상 정보 전송 중지 요청을 사용자 단말(200)로부터 수신하면, 게이트웨이(130)가 영상 획득부(110)에서 촬영한 영상 정보의 전송 중지를 요청한다(S329).When the gateway 130 receives the request to stop transmitting the image information from the user terminal 200, the gateway 130 requests the image acquisition unit 110 to stop transmitting the image information S329).

한편, 상기 단계(S319)에서, 차량이 시동 오프이면, 차량이 정차 상태인 것으로 인식하여 영상 획득부(110)에게 영상 정보의 전송 중지를 요청한다(S329).If the vehicle is in the start-off state in step S319, it is recognized that the vehicle is stationary, and the image acquisition unit 110 is requested to stop transmission of the image information (S329).

마찬가지로, 상기 단계(S321)에서, 차량이 정지 상태인 것으로 확인되면, 영상 획득부(110)에게 교통 신호등을 촬영한 영상 정보의 전송 중지를 요청한다(S329).Likewise, if it is determined in step S321 that the vehicle is in a stopped state, the image acquisition unit 110 is requested to stop transmission of the image information of the traffic signal light (S329).

도 4는 본 발명의 일 실시 예에 따른 교통 신호 변경 안내를 위해, 도 1에 도시된 사용자 단말(200)에서 수행되는 동작 과정을 설명하기 위한 순서도이다.FIG. 4 is a flowchart illustrating an operation procedure performed by the user terminal 200 shown in FIG. 1 for traffic signal change guidance according to an embodiment of the present invention.

도 4를 참조하면, 운전자의 조작에 따라 상기 운전자가 소지한 사용자 단말에 설치된 교통 신호 변경 안내 앱이 실행된다(S411). 여기서 교통 신호 변경 안내 앱은 차량 제조사의 웹 서버 또는 앱 스토어 등에서 다운로드 받아 설치될 수 있다.Referring to FIG. 4, a traffic signal change guidance application installed in a user terminal carried by the driver is executed according to a driver's operation (S411). Here, the traffic signal change guidance application can be downloaded and installed from a web server or an app store of a vehicle manufacturer.

이어, 사용자 단말(200)에서, 상기 앱의 실행에 따라 Wi-Fi 통신과 같은 근거리 무선통신방식을 이용하여 게이트웨이(130)에 연결을 시도한다(S413). 예컨대, 사용자 단말(200)에서 연결 요청 신호를 게이트웨이(130)에 전송하고, 상기 연결 요청에 따라 게이트웨이(130)에서 상기 게이트웨이(130)의 ID가 수신되는지 여부를 확인한다. 확인결과, 게이트웨이(130)의 ID를 수신하면, 상기 수시된 ID에 대한 인증을 수행하여, 인증이 성공되면, 게이트웨이(130)와 사용자 단말(200) 간에 근거리 무선 통신 연결이 구성된다.Next, the user terminal 200 attempts to connect to the gateway 130 using a local wireless communication method such as Wi-Fi communication according to the execution of the application (S413). For example, the user terminal 200 transmits a connection request signal to the gateway 130, and determines whether the gateway 130 receives the ID of the gateway 130 according to the connection request. Upon receipt of the ID of the gateway 130, authentication of the ID is performed, and when the authentication is successful, a short-range wireless communication connection is established between the gateway 130 and the user terminal 200.

이어, 근거리 무선 통신 연결이 구성되면, 사용자 단말(200)에서, 게이트웨이(130)에 교통 신호등을 촬영한 영상 정보의 전송을 요청한다(S415).Next, when the short-distance wireless communication connection is established, the user terminal 200 requests the gateway 130 to transmit the image information of the traffic signal light (S415).

이어, 상기 요청에 따라 영상 정보를 수신하면, 주행 신호에서 정차 신호를 나타내는 교통 신호 변경 여부를 판단하기 위해, 영상 처리 알고리즘을 이용하여 상기 영상 정보를 처리한다(S417).Upon receiving the image information in response to the request, the image information is processed using an image processing algorithm to determine whether the traffic signal indicating the stop signal is changed in the traveling signal (S417).

판단 결과, 교통 신호가 주행 상태에서 정지 상태로의 변경을 판단하면(S419), 운전자에게 교통 신호의 변경을 시각적 또는 청각적인 정보의 형태로 안내한다(S421).As a result of the determination, if it is determined that the traffic signal changes from the running state to the stop state (S419), the driver is informed of the change of the traffic signal in the form of visual or auditory information (S421).

이어, 운전자의 조작에 따라 상기 앱의 종료 여부를 확인하고(S423), 확인결과, 상기 앱이 종료되면, 게이트웨이(130)에게 영상 정보의 전송 중지를 요청한다(S425).If the app is terminated, the gateway 130 is requested to stop transmission of the video information (S425).

이상 바람직한 실시 예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

Claims (9)

차량에 설치된 게이트웨이로부터 교통 신호등을 촬영한 영상 정보를 근거리 무선 통신으로 수신하는 무선 통신 모듈;
상기 무선 통신 모듈로부터 상기 영상 정보를 전달받고, 영상 처리 알고리즘을 이용하여 상기 영상 정보로부터 상기 교통 신호등을 나타내는 패턴을 검출하고, 검출된 패턴에 대한 색 변화를 인식하는 영상 처리부;
상기 영상 처리부의 인식 결과에 따라 교통 신호의 변경을 판단하는 제어부; 및
상기 제어부의 판단 결과에 따라 상기 교통 신호의 변경을 알리는 경보를 출력하는 출력부
를 포함하는 사용자 단말.
A wireless communication module for receiving image information obtained by photographing a traffic signal light from a gateway installed in a vehicle by near field wireless communication;
An image processor receiving the image information from the wireless communication module, detecting a pattern representing the traffic light from the image information using an image processing algorithm, and recognizing a color change of the detected pattern;
A control unit for determining a change of the traffic signal according to the recognition result of the image processing unit; And
An output unit for outputting an alarm informing of the change of the traffic signal in accordance with the determination result of the control unit;
Lt; / RTI >
제1항에 있어서, 상기 영상 처리부는,
상기 검출된 패턴에 대해, 차량 주행을 나타내는 청색 패턴에서 차량 정차를 나타내는 적색 패턴으로의 상기 색 변화를 인식함을 특징으로 하는 사용자 단말.
The image processing apparatus according to claim 1,
And recognizes the color change from a blue pattern representing a vehicle running to a red pattern representing a vehicle stop, for the detected pattern.
제2항에 있어서, 상기 영상 처리부는,
HSI 또는 YCbCr 색 공간에서 표현되는 상기 패턴의 색 변화를 인식함을 특징으로 하는 사용자 단말.
The image processing apparatus according to claim 2,
And recognizes the color change of the pattern expressed in the HSI or YCbCr color space.
제1항에 있어서, 상기 제어부는,
차량이 현재 시동 오프 상태임을 나타내는 시동 상태 정보와 상기 차량이 현재 정차 상태임을 나타내는 속도 정보를 상기 무선 통신 모듈을 통해 수신하면, 상기 무선 통신 모듈을 통해 상기 게이트웨이에게 상기 영상 정보의 전송 중지를 요청함을 특징으로 하는 사용자 단말.
The apparatus of claim 1,
Upon receipt of the start-up status information indicating that the vehicle is currently in the start-off state and the speed information indicating that the vehicle is currently in a stop state through the wireless communication module, the control unit requests the gateway to stop transmission of the video information through the wireless communication module Lt; / RTI >
차량에 설치된 게이트웨이와 근거리 무선 통신으로 연동하는 사용자 단말에 설치된 애플리케이션을 이용하여 교통 신호 변경을 안내하는 방법에 있어서,
상기 사용자 단말에 설치된 교통 신호 변경 안내를 위한 애플리케이션(이하, 앱)이 실행되는 단계:
상기 앱이 실행되면, 상기 사용자 단말에서, 상기 차량의 전방의 교통 신호등을 촬영한 영상 정보에 대한 전송을 상기 게이트웨이에 요청하는 단계;
상기 게이트웨이에서, 상기 요청에 따라 상기 영상 정보를 상기 사용자 단말에 전송하는 단계;
상기 사용자 단말에서, 영상 처리 알고리즘을 이용하여 상기 전송받은 상기 영상 정보에 포함된 교통 신호등을 나타내는 패턴을 검출하고, 검출된 패턴에 대한 색 변화를 인식하여, 교통 신호 변경 여부를 확인하는 단계; 및
상기 사용자 단말에서, 상기 교통 신호 변경을 확인하면, 확인 결과를 시각적 또는 청각적 정보로 운전자에게 제공하는 단계
를 포함하는 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법.
A method of informing a traffic signal change using an application installed in a user terminal interworking with a gateway installed in a vehicle in short-distance wireless communication,
An application (hereinafter referred to as an "app") for a traffic signal change guide installed in the user terminal is executed;
When the app is executed, requesting the gateway to transmit, to the user terminal, video information of a traffic signal light in front of the vehicle;
Transmitting, at the gateway, the image information to the user terminal according to the request;
Detecting a pattern representing a traffic signal light included in the transmitted image information using an image processing algorithm in the user terminal, recognizing a color change in the detected pattern, and confirming whether or not the traffic signal is changed; And
When the user terminal confirms the traffic signal change, providing the confirmation result to the driver with visual or auditory information
A traffic signal change guidance method using a smartphone application.
제5항에 있어서, 상기 영상 정보를 상기 사용자 단말에 전송하는 단계는,
상기 요청에 따라, 상기 차량에 설치된 영상 획득부로부터 교통 신호등을 촬영한 영상 정보를 수집하는 단계; 및
상기 수집된 영상 정보를 상기 근거리 무선 통신을 이용하여 상기 게이트웨이에 전송하는 단계
를 포함함을 특징으로 하는 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법.
6. The method of claim 5, wherein the step of transmitting the image information to the user terminal comprises:
Collecting image information obtained by photographing a traffic signal from an image acquisition unit installed in the vehicle according to the request; And
And transmitting the collected image information to the gateway using the short-distance wireless communication
And a traffic signal change guidance method using the smartphone application.
제6항에 있어서, 상기 영상 정보를 수집하는 단계는,
이더넷 통신 방식을 이용하여 상기 영상 획득부로부터 상기 영상 정보를 전달받아서 수집하는 단계임을 특징으로 하는 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법.
The method of claim 6, wherein the collecting of the image information comprises:
And receiving the image information from the image acquisition unit using an Ethernet communication method and collecting the received image information.
제6항에 있어서, 상기 교통 신호등을 촬영한 영상 정보를 수집하는 단계
상기 게이트웨이에서, 차량 네트워크 통신으로 연결된 전자 제어 유닛으로부터 차량의 시동 상태 정보 및 속도 정보를 수신하는 단계;
상기 게이트웨이에서, 상기 수신된 시동 상태 정보 및 속도 정보에 따라, 상기 차량이 시동 온 상태이고, 주행 상태로 판단한 경우, 상기 영상 획득부에게 상기 영상 정보를 요청하는 단계; 및
상기 게이트웨이에서, 상기 요청에 따라 상기 영상 획득부로부터 전달된 상기 영상 정보를 수집하는 단계
를 포함함을 특징으로 하는 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법.
The method according to claim 6, further comprising the step of collecting image information of the traffic light
Receiving, at the gateway, the start-up state information and speed information of the vehicle from an electronic control unit connected by vehicle network communication;
Requesting, by the gateway, the image information to the image acquiring unit when it is determined that the vehicle is in the on-state and in the traveling state according to the received startup state information and the speed information; And
Collecting, at the gateway, the image information transmitted from the image acquiring unit according to the request
And a traffic signal change guidance method using the smartphone application.
제5항에 있어서, 상기 교통 신호 변경 여부를 확인하는 단계는,
상기 검출된 패턴에 대해, 청색 패턴에서 적색 패턴으로의 상기 색 변화를 인식하는 단계; 및
상기 색 변화가 인식되면, 교통 신호가 주행 상태에서 정차 상태로 변경되는 상기 교통 신호 변경을 판단하는 단계
를 포함함을 특징으로 하는 스마트 폰 애플리케이션을 이용한 교통 신호 변경 안내 방법.6. The method of claim 5, wherein the step of verifying whether the traffic signal is changed comprises:
Recognizing the color change from the blue pattern to the red pattern for the detected pattern; And
Judging whether the traffic signal changes from the running state to the stopped state when the color change is recognized;
And a traffic signal change guidance method using the smartphone application.
KR1020140164509A 2014-11-24 2014-11-24 User treminal for interwoking with gateway installed in a vehicle and and method for guiding a change of traffic signal using smartphone application KR102310291B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140164509A KR102310291B1 (en) 2014-11-24 2014-11-24 User treminal for interwoking with gateway installed in a vehicle and and method for guiding a change of traffic signal using smartphone application

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140164509A KR102310291B1 (en) 2014-11-24 2014-11-24 User treminal for interwoking with gateway installed in a vehicle and and method for guiding a change of traffic signal using smartphone application

Publications (2)

Publication Number Publication Date
KR20160061737A true KR20160061737A (en) 2016-06-01
KR102310291B1 KR102310291B1 (en) 2021-10-07

Family

ID=56138247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140164509A KR102310291B1 (en) 2014-11-24 2014-11-24 User treminal for interwoking with gateway installed in a vehicle and and method for guiding a change of traffic signal using smartphone application

Country Status (1)

Country Link
KR (1) KR102310291B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614258A (en) * 2020-12-15 2021-04-06 南通路远科技信息有限公司 Unlocking device and method for traffic carrier

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301518A (en) * 2004-04-08 2005-10-27 Toyota Motor Corp Signal detection device and signal detecting method
JP2008021204A (en) * 2006-07-14 2008-01-31 Nec Corp User driving state collection/analysis system, user portable terminal, and user driving state collecting/analyzing method and program
KR20120046645A (en) * 2010-11-02 2012-05-10 엘지이노텍 주식회사 Appratus and method for vehicle drive assistance
KR20140007709A (en) * 2012-07-10 2014-01-20 삼성전자주식회사 Transparent display apparatus for displaying an information of danger element and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301518A (en) * 2004-04-08 2005-10-27 Toyota Motor Corp Signal detection device and signal detecting method
JP2008021204A (en) * 2006-07-14 2008-01-31 Nec Corp User driving state collection/analysis system, user portable terminal, and user driving state collecting/analyzing method and program
KR20120046645A (en) * 2010-11-02 2012-05-10 엘지이노텍 주식회사 Appratus and method for vehicle drive assistance
KR20140007709A (en) * 2012-07-10 2014-01-20 삼성전자주식회사 Transparent display apparatus for displaying an information of danger element and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614258A (en) * 2020-12-15 2021-04-06 南通路远科技信息有限公司 Unlocking device and method for traffic carrier

Also Published As

Publication number Publication date
KR102310291B1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
US11688162B2 (en) Drive assist device
CN107578644B (en) Method and device for operating a traffic infrastructure unit comprising a signal source
JP6451101B2 (en) Vehicle communication device
JP5877208B2 (en) Driving support system
WO2019126908A1 (en) Image data processing method, device and equipment
JP6290550B2 (en) Communication device
US11767058B2 (en) Program for operating vehicle from outside vehicle
CN109658692B (en) Signal lamp control method, device and equipment based on ad hoc network and storage medium
KR20210063134A (en) Electronic device for processing v2x message and operating method thereof
KR101718091B1 (en) Apparatus and method for bidirectional pairing between devices
JP2011095833A (en) Vehicle system and traffic system
CN111344215A (en) Method for controlling a parking process of a vehicle
KR20190061395A (en) Apparatus and method for notifying a change of a traffic lamp using wireless communication
JP5939170B2 (en) Object approach notification system
KR102310291B1 (en) User treminal for interwoking with gateway installed in a vehicle and and method for guiding a change of traffic signal using smartphone application
WO2018092577A1 (en) Object detection device for vehicles and object detection system for vehicles
JP2005022578A (en) Vehicle braking apparatus and method
KR20160095861A (en) System for guiding a change of traffic signal using gateway and method thereof
KR102288362B1 (en) Driver Alarm System and Method
JP6978106B2 (en) Communication equipment and vehicles
CN106162938B (en) Information processing method and first electronic equipment
KR20150120150A (en) Communication device between vehicles and communication method thereof
JP2018077908A (en) Communication device
JPWO2021199329A5 (en) SIGNAL INFORMATION PROVIDING DEVICE, SIGNAL INFORMATION PROVIDING METHOD AND PROGRAM
JP5348111B2 (en) Communication system and in-vehicle communication device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant