KR20180068262A - Method and system for realizing a traffic signal - Google Patents

Method and system for realizing a traffic signal Download PDF

Info

Publication number
KR20180068262A
KR20180068262A KR1020160169997A KR20160169997A KR20180068262A KR 20180068262 A KR20180068262 A KR 20180068262A KR 1020160169997 A KR1020160169997 A KR 1020160169997A KR 20160169997 A KR20160169997 A KR 20160169997A KR 20180068262 A KR20180068262 A KR 20180068262A
Authority
KR
South Korea
Prior art keywords
signal
vehicle
traffic light
recognized
image
Prior art date
Application number
KR1020160169997A
Other languages
Korean (ko)
Other versions
KR102699000B1 (en
Inventor
김창수
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160169997A priority Critical patent/KR102699000B1/en
Publication of KR20180068262A publication Critical patent/KR20180068262A/en
Application granted granted Critical
Publication of KR102699000B1 publication Critical patent/KR102699000B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G06K9/00825—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a technique for increasing a recognition rate of a traffic light during autonomous driving of a vehicle. In the present invention, a method for recognizing a traffic signal comprises the following steps: acquiring position information of a traffic light; acquiring position information of a current vehicle; determining an image recognition range of the traffic light in a forward image photographed by the vehicle based on the position information of the traffic light and the position information of the vehicle; and determining and recognizing a signal of the traffic light lighted based on the image of the traffic light photographed in the image recognition range.

Description

교통신호 인식방법 및 시스템{METHOD AND SYSTEM FOR REALIZING A TRAFFIC SIGNAL}TECHNICAL FIELD [0001] The present invention relates to a traffic signal recognition method and system,

본 발명은 차량의 자율 주행 중 신호등의 인식률을 높이도록 한 교통신호 인식방법 및 시스템에 관한 것이다.The present invention relates to a traffic signal recognition method and system for enhancing the recognition rate of a traffic light during autonomous driving of a vehicle.

최근 자율주행자동차에 대한 관심이 증가함에 따라 그 핵심기술 중의 하나로서 교통 상황을 인식하는 방법에 대한 연구가 활발히 진행되고 있다.Recently, as interest in autonomous vehicles has increased, research on how to recognize traffic conditions as one of the core technologies has been actively researched.

특히, 신호등을 인식하는 기술은 직접적으로 교통사고를 유발하게 되는 원인이 될 수 있으므로, 신호등을 올바르게 인식하기 위한 기술의 중요성이 더해지고 있다.In particular, the technology for recognizing a traffic light is becoming a cause of causing a traffic accident directly, and therefore, the technology for recognizing the traffic light is becoming more important.

신호등을 인식하는 기술의 하나를 예시하면, 자동차에서 촬영한 전방 영상에서 신호등 패턴을 추출하고 이 신호등의 컬러를 인식함으로써, 신호등의 신호를 인지하는 영상인식 기법이 제시된 바 있다.An example of a technique for recognizing a traffic light is an image recognition technique for recognizing a signal of a traffic light by extracting a traffic light pattern from a forward image photographed by an automobile and recognizing the color of the traffic light.

그러나, 촬영된 영상을 기준으로 신호등 주변에 신호등 패턴과 유사한 네온 싸인과 같은 유사 조명이 있을 경우, 신호등을 오인식할 수 있는 문제가 있다.However, there is a problem that the traffic lights may be misrecognized when there are similar lights around the traffic lights based on photographed images, such as a neon sign similar to a traffic light pattern.

즉, 기존의 신호등 인식 기술은 신호등 영상처리에 대한 연구가 대부분이기 때문에, 신호등 주변의 유사 조명에 대한 오인식을 방지하는 기술이 요구되고 있다.That is, since the existing signal recognition technology is mostly studied in the image processing of the traffic light, a technique for preventing the misunderstanding of the similar illumination around the traffic light is required.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.It should be understood that the foregoing description of the background art is merely for the purpose of promoting an understanding of the background of the present invention and is not to be construed as an admission that the prior art is known to those skilled in the art.

디지털 영상처리 기술을 이용한 교통신호등 자동 판별 시스템 개발(전자공학회 논문지, 2009. 3, 92-99) Development of Automatic Traffic Light Identification System Using Digital Image Processing Technology (Journal of Electronics, 2009. 3, 92-99) 색상 및 형태 특징을 고려한 교통신호 고속 인식 알고리즘(한국방송공학회 학술발표대회 논문집, 2016. 6, 200-203) High Speed Recognition Algorithm for Traffic Signal Considering Color and Shape Characteristics (Proceedings of the Korean Broadcasting Engineering Conference, 2016. 6, 200-203)

본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 안출한 것으로, 차량의 자율 주행 중 신호등의 인식률을 높이도록 한 교통신호 인식방법 및 시스템을 제공하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a traffic signal recognition method and system for increasing the recognition rate of traffic lights during autonomous driving of a vehicle.

상기와 같은 목적을 달성하기 위한 본 발명의 교통신호 인식방법의 구성은, 제어기가 신호등의 위치정보를 확보하는 신호등위치 확보단계; 제어기가 현재 차량의 위치정보를 확보하는 차량위치 확보단계; 제어기가 상기 신호등의 위치정보와 차량의 위치정보를 바탕으로 차량에서 촬영하는 전방의 영상 중 신호등의 영상인식범위를 결정하는 영상인식범위 결정단계; 및 제어기가 상기 영상인식범위에 촬영된 신호등 영상을 바탕으로 점등된 신호등의 신호를 판단 및 인식하는 제1신호인식단계;를 포함하는 것을 특징으로 할 수 있다.According to another aspect of the present invention, there is provided a method of recognizing a traffic signal, the method comprising the steps of: acquiring position information of a traffic light; A vehicle position securing step of securing position information of a current vehicle by the controller; An image recognition range determining step of determining an image recognition range of a traffic light in a forward image taken by a vehicle based on the position information of the traffic light and the position information of the vehicle; And a first signal recognizing step of recognizing and recognizing a signal of a traffic light illuminated based on the traffic light image photographed in the image recognition range by the controller.

상기 영상인식범위 결정단계에서는, 상기 신호등의 3차원 좌표와 차량의 3차원 좌표를 이용하여 차량과 신호등 간의 거리와, 신호등의 높이와, 차량에서 신호등을 향한 각도를 계산하여 신호등의 영상인식범위를 결정할 수 있다.In the image recognition range determining step, the distance between the vehicle and the traffic lights, the height of the traffic lights, and the angle toward the traffic lights in the vehicle are calculated using the three-dimensional coordinates of the traffic lights and the three- You can decide.

상기 제1신호수신단계 이 후에, 상기 제어기가 주변 차량이 인식한 해당 신호등의 신호 인식 결과를 통신을 통해 수신받는 신호수신단계; 상기 신호수신단계에서 수신한 신호 인식 결과를 바탕으로 제어기가 해당 신호등의 신호를 판단 및 인식하는 제2신호인식단계;를 더 포함할 수 있다.A signal receiving step of receiving the signal recognition result of the corresponding signal recognized by the surrounding vehicle through the communication after the first signal receiving step; And a second signal recognition step in which the controller determines and recognizes the signal of the corresponding signal based on the signal recognition result received in the signal reception step.

상기 제어기가 인식한 해당 신호등의 신호를 통신을 통해 송출할 수 있다.The signal of the corresponding signal recognized by the controller can be transmitted through communication.

상기 제2신호인식단계 이 후에, 상기 제어기가 차량에서 촬영된 영상을 바탕으로 주변 차량의 움직임을 인식하여 해당 신호등의 신호를 판단 및 인식하는 제3신호인식단계;를 더 포함할 수 있다.The third signal recognition step may further include a third signal recognition step of, after the controller recognizes the motion of the surrounding vehicle based on the image photographed by the vehicle, and determining and recognizing the signal of the corresponding signal.

상기 제3신호인식단계는, 촬영된 영상의 중심부에서 좌측 및 우측으로 차량의 움직임이 인지되는 경우, 해당 신호등의 정지신호로 인식하고; 촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지되는 경우, 해당 신호등의 직진신호로 인식하며; 촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지됨과 동시에 촬영된 영상의 중심부에서 우측에서 좌측으로 차량의 움직임이 인지되는 경우, 해당 신호등의 좌회전 신호로 인식하고; 촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지됨과 동시에 촬영된 영상의 중심부에서 좌측에서 우측으로 차량의 움직임이 인지되는 경우, 해당 신호등의 우회전 신호로 인식할 수 있다.The third signal recognizing step recognizes the movement of the vehicle as a stop signal of the corresponding signal when the movement of the vehicle is recognized to the left and right at the center of the photographed image; If the movement of the vehicle is recognized from the lower right or lower left end of the photographed image to the center, it is recognized as a straight ahead signal of the corresponding signal; Recognizing the movement of the vehicle from the lower right or lower left end of the photographed image to the center and recognizing the movement of the vehicle as a left turn signal when the movement of the vehicle is recognized from the center of the photographed image from right to left; When the movement of the vehicle is recognized from the lower right or lower left end of the photographed image to the center and the movement of the vehicle is recognized from the left to the right at the center of the photographed image, it can be recognized as a right turn signal of the corresponding signal.

상기 제1신호인식단계에 의해 신호등의 신호 판단이 불가한 경우, 제2신호인식단계를 통해 신호등의 신호를 판단 및 인식하고; 상기 제2신호인식단계에 의해 신호등의 신호 판단이 불가한 경우, 제3신호인식단계를 통해 신호등의 신호를 판단 및 인식할 수 있다.Judging and recognizing the signal of the traffic light through the second signal recognition step when the signal judgment of the traffic light is impossible by the first signal recognition step; When the signal of the signal or the like can not be judged by the second signal recognizing step, the signal of the signal or the like can be judged and recognized through the third signal recognizing step.

본 발명의 교통신호 인식시스템의 구성은, 신호등의 위치정보가 저장된 지도데이터; 현재 차량 위치정보를 확보하는 GPS시스템; 및 상기 신호등의 좌표와 차량의 좌표를 바탕으로 차량에서 촬영하는 전방의 영상 중 신호등의 영상인식범위를 결정하고, 상기 영상인식범위에 촬영된 신호등 영상을 바탕으로 점등된 신호등의 신호를 판단 및 인식하는 제어기;를 포함하는 것을 특징으로 할 수 있다.The configuration of the traffic signal recognition system of the present invention includes map data in which position information of a traffic light is stored; A GPS system for acquiring current vehicle location information; And a control unit for determining the image recognition range of the traffic lights in the forward image photographed by the vehicle based on the coordinates of the traffic lights and the coordinates of the vehicle and judging and recognizing the signals of the traffic lights illuminated based on the image of the traffic lights photographed in the image recognition range And a controller for controlling the operation of the controller.

차량에 설치되어, 제어기가 인식한 신호등 인식 결과를 주변 차량에 송신하고, 주변 차량이 인식한 신호등 인식 결과를 수신받는 V2V송수신기;를 더 포함할 수 있다.And a V2V transceiver installed in the vehicle, for transmitting a signal recognition result recognized by the controller to the surrounding vehicle, and receiving the signal light recognition result recognized by the surrounding vehicle.

상기한 과제 해결수단을 통해 본 발명은, 자차에서 촬영된 영상 중에서 신호등에 해당하는 영상인식범위만을 한정하여 인식하고, 이와 함께 주변 차량을 이용하여 신호등의 신호를 인식 가능한 로직을 구현함으로써, 신호등 인식률을 높여 자율 주행 차량의 주행 안정성을 높이는 효과가 있다.According to an embodiment of the present invention, the image recognition range corresponding to a traffic light is limited and recognized among the images photographed by the vehicle, and the logic for recognizing the signal of the traffic light is implemented using the nearby vehicle, So that the stability of the autonomous vehicle can be improved.

도 1은 본 발명에 따른 교통신호 인식방법의 과정을 나타낸 도면.
도 2는 본 발명에 따른 교통신호 인식시스템을 나타낸 도면.
도 3은 본 발명에서 신호등의 영상인식범위를 결정하는 방법을 설명하기 위한 도면.
도 4는 본 발명에서 주변 차량의 흐름을 이용하여 신호등을 인식하는 방법을 설명하기 위한 도면.1 is a diagram illustrating a process of a traffic signal recognition method according to the present invention.
2 shows a traffic signal recognition system according to the present invention.
3 is a diagram for explaining a method of determining an image recognition range of a traffic light in the present invention.
4 is a diagram for explaining a method of recognizing a traffic light using a flow of a nearby vehicle in the present invention.

본 발명의 바람직한 실시예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 교통신호 인식방법은, 신호등위치 확보단계와, 차량위치 확보단계와, 영상인식범위 결정단계 및 제1신호인식단계를 포함하여 구성할 수 있다.The traffic signal recognition method of the present invention may include a step of securing a signal light position, a step of securing a vehicle position, an image recognition range determination step, and a first signal recognition step.

도 1 및 도 2를 참조하여, 본 발명을 구체적으로 살펴보면, 먼저 신호등위치 확보단계에서는, 제어기(1)가 신호등의 위치정보를 확보할 수 있다.Referring to FIGS. 1 and 2, the present invention will be described in detail. First, in the step of securing a traffic light position, the controller 1 can acquire position information of a traffic light.

예컨대, 각 신호등 별로 고유식별라벨(ID)이 부여될 수 있고, 각 신호등의 위치에 대한 위치정보가 정밀 지도데이터(5)에 저장될 수 있다. 그리고, 상기 정밀 지도데이터(5)는 제어기(1)에 미리 저장되거나, 서버에 저장될 수 있다.For example, a unique identification label (ID) may be assigned to each signal lamp, and position information on the position of each signal lamp may be stored in the precise map data 5. The precision map data 5 may be stored in advance in the controller 1 or may be stored in a server.

이에, 차량의 자율 주행 중 전방 신호등의 위치정보가 필요한 경우, 제어기(1)가 지도데이터(5)에 저장된 신호등의 위치정보를 탐색하여 확보하거나, 또는 서버에 저장된 정밀 지도데이터(5)로부터 해당 신호등의 위치정보를 요청 및 수신하여 확보할 수 있다.When the position information of the front signal lamp is required during the autonomous running of the vehicle, the controller 1 searches for and obtains the position information of the signal lamps stored in the map data 5, The position information of the traffic lights can be requested, received, and secured.

차량위치 확보단계에서는, 제어기(1)가 현재 차량의 위치정보를 확보할 수 있다.In the vehicle position securing step, the controller 1 can secure the current vehicle position information.

예컨대, 차량에 GPS수신기(7)가 탑재됨으로써, GPS시스템을 통해 현재 차량의 위치를 확보할 수 있다.For example, by mounting the GPS receiver 7 on the vehicle, the position of the current vehicle can be secured through the GPS system.

영상인식범위 결정단계에서는, 제어기(1)가 상기 신호등의 위치정보와 차량의 위치정보를 바탕으로 차량에서 촬영하는 전방의 영상 중 신호등의 영상인식범위를 결정할 수 있다.In the image recognition range determining step, the controller 1 can determine the image recognition range of the traffic lights in the forward image taken by the vehicle based on the position information of the traffic lights and the vehicle position information.

예컨대, 차량 전방에 카메라(3)가 장착되어, 상기 카메라(3)를 통해 신호등을 포함하는 전방의 영상을 촬영할 수 있다.For example, a camera 3 is mounted in front of the vehicle, and a forward image including a traffic light can be photographed through the camera 3. [

그리고, 제1신호인식단계에서는, 제어기(1)가 상기 영상인식범위에 촬영된 신호등 영상을 바탕으로 점등된 신호등의 신호를 판단 및 인식할 수 있다.In the first signal recognition step, the controller 1 can judge and recognize a signal of a signal lamp illuminated based on the signal lamp image photographed in the image recognition range.

예컨대, 신호등 영상에서 신호등의 패턴과 컬러를 인식함으로써, 신호등에 점등된 신호를 인식할 수 있다.For example, by recognizing the pattern and color of a traffic light in a traffic light image, it is possible to recognize a signal illuminated in the traffic light.

즉, 상기한 구성에 따르면, 차량의 자율주행 중 신호등의 위치정보와 함께 현재 차량이 위치한 위치정보를 기반으로 전방에 위치한 신호등 유무와, 그 신호등의 인식 여부를 결정하는 것은 물론, 특히 차량의 카메라(3)를 통해 촬영된 영상 중에서 신호등의 영상인식범위를 명확하게 한정하게 된다.That is, according to the above-described configuration, it is possible to determine whether or not the signal lamp located at the front is recognized based on the position information of the current vehicle, along with the position information of the signal lamp during autonomous driving of the vehicle, The image recognition range of the traffic lights among the images photographed through the camera 3 is clearly limited.

따라서, 촬영된 영상 중에서 영상인식범위만을 한정하여 인식함으로써, 신호등과 유사한 다른 물체(네온사인, 건물 조명 등)에 의해 신호등을 오인식하지 않게 되는바, 신호등의 인식률을 높이게 되고, 이에 자율 주행 차량의 주행 안정성을 높이게 된다.Therefore, by recognizing only the image recognition range from the photographed images, the traffic lights are not recognized by other objects (neon sign, building lighting, etc.) similar to the traffic lights, so that the recognition rate of the traffic lights is increased. Thereby improving driving stability.

이처럼 신호등의 인식률을 높이기 위해 본 발명에서는, 신호등 및 차량의 3차원 좌표를 활용할 수 있다.In order to increase the recognition rate of the traffic lights, the present invention can utilize the traffic lights and the three-dimensional coordinates of the vehicle.

도 3을 참조하여 구체적으로 살펴보면, 상기 신호등의 3차원 좌표와 차량의 3차원 좌표를 이용하여 차량과 신호등 간의 거리(D)와, 신호등의 높이(H)와, 차량에서 신호등을 향한 각도(Θ)를 계산하여 신호등의 영상인식범위를 결정할 수 있다.3, the distance D between the vehicle and the traffic light, the height H of the traffic light, and the angle (?) Between the vehicle and the traffic lights are calculated using the three-dimensional coordinates of the traffic lights and the three- ) Can be calculated to determine the image recognition range of the traffic lights.

예컨대, 차량 전방에 인식이 필요한 신호등의 3차원 좌표(X1,Y1,Z1)를 지도데이터(5)로부터 제공받고, 차량의 3차원 좌표(X,Y,Z)를 GPS시스템을 통해 제공받게 된다.For example, the three-dimensional coordinates (X1, Y1, Z1) of the traffic lights requiring recognition in the front of the vehicle are provided from the map data 5 and the three-dimensional coordinates (X, Y, Z) of the vehicle are received through the GPS system .

이에, 상기 신호등의 3차원 좌표와 차량의 3차원 좌표를 조합하여, 인식이 필요한 전방 신호등과 차량 간의 거리(D)를 계측하고, 신호등의 높이(H)를 계측하며, 차량의 카메라(3)가 신호등을 향하는 각도(Θ)를 각각 계측할 수 있다.The three-dimensional coordinates of the traffic light and the three-dimensional coordinates of the vehicle are combined to measure the distance D between the front signal lamp and the vehicle requiring recognition, the height H of the traffic light is measured, (?) Toward the traffic lights can be measured.

따라서, 카메라(3)를 촬영된 영상 중에서 신호등에 해당하는 영상인식범위를 정확하게 확정 및 한정할 수 있게 된다.Therefore, the camera 3 can accurately determine and limit the image recognition range corresponding to the traffic lights among the photographed images.

한편, 본 발명은 상기 제1신호수신단계 이 후에, 신호등의 인식 불가시 주변 차량으로부터 신호를 전송받아 신호등을 인식할 수 있다.In the meantime, according to the present invention, after the first signal receiving step, when a signal lamp can not be recognized, a signal can be received from the nearby vehicle to recognize the signal lamp.

도 1을 참조하면, 상기 제1신호수신단계 이 후에, 상기 제어기(1)가 주변 차량이 인식한 해당 신호등의 신호 인식 결과를 통신을 통해 수신받는 신호수신단계와, 상기 신호수신단계에서 수신한 신호 인식 결과를 바탕으로 제어기(1)가 해당 신호등의 신호를 판단 및 인식하는 제2신호인식단계를 더 포함할 수 있다.Referring to FIG. 1, the first signal receiving step may include a signal receiving step in which the controller 1 receives a signal recognition result of a corresponding signal recognized by a neighboring vehicle through communication, and a signal receiving step And a second signal recognition step in which the controller 1 judges and recognizes the signal of the corresponding signal based on the signal recognition result.

이를 위해, 차량에 V2V(Vehicle-to-vehicle)송수신기(9)가 설치될 수 있는바, 상기 V2V송수신기(9)를 통해 상기 제어기(1)가 인식한 해당 신호등 인식 결과를 주변 차량에 송신하고, 또한 주변 차량이 인식한 신호등 인식 결과 역시 V2V송수신기(9)를 통해 수신받아, 제어기(1)에 전송할 수 있다.To this end, a vehicle-to-vehicle (V2V) transceiver 9 may be installed in the vehicle, and the corresponding signal recognition result recognized by the controller 1 through the V2V transceiver 9 is transmitted to the nearby vehicle And the signal recognition result recognized by the nearby vehicle can also be received via the V2V transceiver 9 and transmitted to the controller 1. [

예컨대, 자율 주행 차량의 경우, 자차가 인식한 전방의 신호등 정보를 다른 차량과 공유하도록 V2V통신을 통해 실시간 송출할 필요가 있고, 이 같은 정보 공유를 통해 안전하고 원활한 차량 흐름이 진행될 수 있다.For example, in the case of an autonomous vehicle, it is necessary to transmit it in real time through V2V communication so that the traffic light information of the front recognized by the vehicle is shared with other vehicles. Through such information sharing, a safe and smooth vehicle flow can proceed.

즉, 자차의 카메라(3)로 촬영한 영상인식범위 내에서 신호등의 컬러(초록, 노랑, 빨강)가 제대로 인식되지 않는 경우, 또는 신호등 등화 패턴에 없는 컬러 조합이 인식되는 경우와 같이 제1신호수신단계에서 신호등의 신호 판단이 불가능한 경우에는, 주변의 차량이 판단한 해당 신호등의 신호를 수신하여 상기 신호등의 신호를 인식할 수 있다.That is, when the colors (green, yellow, and red) of the traffic lights are not recognized correctly within the image recognition range photographed by the camera 3 of the vehicle, or when a color combination that is not in the traffic light illumination pattern is recognized, When it is impossible to judge the signal of the traffic light in the receiving step, the signal of the signal or the like judged by the surrounding vehicle can be received and the signal of the traffic light can be recognized.

더불어, 본 발명은 상기 제2신호수신단계 이 후에, 신호등의 신호를 인식 불가시, 주변 차량의 흐름을 파악하여 신호등을 인식할 수 있다.In addition, according to the present invention, when the signal of the traffic light can not be recognized after the second signal reception step, the traffic light can be recognized by grasping the flow of the surrounding vehicle.

도 4를 참조하여 구체적으로 설명하면, 상기 제2신호인식단계 이 후에, 상기 제어기(1)가 차량에서 촬영된 영상을 바탕으로 주변 차량의 움직임을 인식하여 해당 신호등의 신호를 판단 및 인식하는 제3신호인식단계를 더 포함할 수 있다.4, after the second signal recognition step, the controller 1 recognizes the motion of the neighboring vehicle based on the image photographed by the vehicle and judges and recognizes the signal of the corresponding signal. 3 signal recognition step.

예컨대, 교차로의 경우, (a)와 (b)의 화살표 방향과 같이, 촬영된 영상의 중심부에서 좌측 및 우측으로 차량의 움직임이 인지시, 해당 신호등의 정지신호로 인식할 수 있다.For example, in the case of an intersection, as shown by the arrows in (a) and (b), when the movement of the vehicle is recognized to the left and right at the center of the photographed image, it can be recognized as a stop signal of the corresponding signal.

그리고, (c)의 화살표 방향과 같이, 촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지되는 경우, 해당 신호등의 직진신호로 인식할 수 있다.When the movement of the vehicle is recognized from the lower right or lower left end of the photographed image to the center as shown by the arrow in (c), it can be recognized as a straight forward signal of the signal.

또한, (d)의 화살표 방향과 같이, 촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지되고, 이와 동시에 촬영된 영상의 중심부에서 우측에서 좌측으로 움직임이 인지되는 경우, 해당 신호등의 좌회전 신호로 인식할 수 있다.When the movement of the vehicle is recognized from the lower right or lower left end of the photographed image to the center as shown by the arrow in (d), and at the same time, movement is recognized from the right side to the left side in the center of the photographed image, As a left-turn signal.

그리고, 도면으로 도시하지는 않았으나, 차량이 우측으로 통행하는 국가의 경우, 신호등에 우회전 신호가 있게 되는바, 촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지됨과 동시에 촬영된 영상의 중심부에서 좌측에서 우측으로 차량의 움직임이 인지되는 경우, 해당 신호등의 우회전 신호로 인식할 수 있다.Although not shown in the drawings, in the case of a country where the vehicle travels to the right, there is a right turn signal in the traffic light, so that the movement of the vehicle is recognized from the lower right or left lower end of the photographed image to the center, When the movement of the vehicle is recognized from the left to the right in the center, it can be recognized as a right turning signal of the corresponding signal.

즉, 자차의 카메라(3)를 이용한 신호등의 신호 인식이 실패하고, 또한 자차 주변에 자율 주행 차량이 없어 주변 차량이 인식한 정보도 받지 못하는 경우에는, 상기한 방식으로 주변 차량의 흐름을 인지하여 신호등의 직진, 회전, 정지 신호를 판단할 수 있다.That is, when the signal recognition of the signal lamp using the camera 3 of the own vehicle fails, and there is no autonomous vehicle around the vehicle, and the information recognized by the surrounding vehicle is also not received, the flow of the surrounding vehicle is recognized It is possible to judge the forward, rotation, and stop signals of the traffic lights.

한편, 본 발명에 의한 교통신호 인식시스템은, 지도데이터(5)와, GPS시스템 및 제어기(1)를 포함하여 구성할 수 있다.Meanwhile, the traffic signal recognition system according to the present invention can include the map data 5, the GPS system and the controller 1.

도 2를 참조하면, 신호등의 위치정보가 저장된 지도데이터(5)와, 현재 차량 위치정보를 확보하는 GPS시스템과, 상기 신호등의 위치정보와 차량의 위치정보를 바탕으로 차량에서 촬영하는 전방의 영상 중 신호등의 영상인식범위를 결정하고, 상기 영상인식범위에 촬영된 신호등 영상을 바탕으로 점등된 신호등의 신호를 판단 및 인식하는 제어기(1)를 포함하여 구성할 수 있다.Referring to FIG. 2, there is provided a navigation system including map data 5 in which positional information of a traffic light is stored, a GPS system for obtaining current vehicle position information, And a controller 1 for determining the image recognition range of the middle signal light and judging and recognizing the signal of the signal light illuminated based on the signal light image photographed in the image recognition range.

그리고, 상기 차량에는 V2V송수신기(9)가 설치되고, 상기 V2V송수신기(9)는 제어기(1)와 전기적으로 연결되어, 제어기(1)가 인식한 신호등 인식 결과를 주변 차량에 송신하고, 더불어 주변 차량이 인식한 신호등 인식 결과를 수신받게 된다.The vehicle is provided with a V2V transceiver 9 and the V2V transceiver 9 is electrically connected to the controller 1 to transmit a signal recognition result recognized by the controller 1 to the surrounding vehicle, And receives the signal recognition result recognized by the vehicle.

이하에서는, 본 발명에 따라 교통신호를 인식하는 과정에 대해 살펴보기로 한다.Hereinafter, a process of recognizing a traffic signal according to the present invention will be described.

도 1 및 도 2를 참조하면, 자율 주행하는 차량의 경우, 차량에 장착된 카메라(3)를 이용하여 전방의 영상을 촬영하면서 차량의 위치정보와 각 신호등의 위치정보를 입력받는다(S10).Referring to FIGS. 1 and 2, in the case of a self-traveling vehicle, a camera 3 mounted on a vehicle is used to photograph a forward image, and positional information of the vehicle and position information of each signal are input (S10).

이에, 차량의 주행 중, 차량과 차량 전방의 신호등 간의 거리가 소정 거리 이내로 진입되는지 판단하여(S20) 진입된 것으로 판단되면 차량의 3차원 좌표와 신호등의 3차원 좌표를 이용하여 자차에서 촬영한 영상 중 신호등에 해당하는 영상인식범위를 한정한다(S30).If it is determined that the distance between the vehicle and the traffic light ahead of the vehicle is within a predetermined distance during the running of the vehicle (S20), if it is determined that the vehicle has entered the three-dimensional coordinates of the vehicle, The image recognition range corresponding to the middle traffic light is limited (S30).

이어서, 상기 영상인식범위에 촬영된 신호등 영상의 패턴과 컬러를 분석하여 점등된 신호등의 신호를 판단함으로써(S40), 정지, 회전, 직진 신호 등을 인식할 수 있게 된다(S80).In step S80, the controller 10 recognizes the signal of the signal light which is illuminated by analyzing the pattern and color of the signal light image photographed in the image recognition range in step S40.

다만, S40단계의 판단 결과, 신호등의 신호 인식이 불가능한 것으로 판단시, 주변 차량이 인식한 해당 신호등의 신호 인식 결과를 V2V통신을 통해 수신받는다(S50).However, if it is determined in step S40 that the signal recognition of the traffic light is impossible, the signal recognition result of the corresponding traffic light recognized by the surrounding vehicle is received through the V2V communication (S50).

이에, S50단계에서 수신한 주변 차량의 신호 인식 결과를 해당 신호등의 신호로 판단하여(S60), 해당 신호등의 정지, 회전, 직진 신호를 인식할 수 있게 된다(S80).Accordingly, the signal recognition result of the neighboring vehicle received in step S50 is determined as a signal of the corresponding signal (S60), and the stop, rotation, and straight signal of the signal can be recognized (S80).

다만, S60단계의 판단 결과, 신호 인식이 불가능한 것으로 판단시, 자차의 카메라(3)로 촬영된 영상을 바탕으로 주변 차량의 움직임을 인식하여 해당 신호등의 신호를 판단할 수 있고(S70), 이에 해당 신호등의 정지, 회전, 직진 신호를 인식할 수 있게 된다(S80).However, if it is determined in step S60 that the signal recognition is impossible, it is possible to recognize the signal of the corresponding traffic light based on the image of the vehicle, which is photographed by the camera 3 of the own vehicle (S70) It is possible to recognize the stop, the rotation, and the straight-line signal of the corresponding traffic light (S80).

상술한 바와 같이, 본 발명은 자차에서 촬영된 영상 중에서 신호등에 해당하는 영상인식범위만을 한정하여 인식하고, 이와 함께 주변 차량을 이용하여 신호등의 신호를 인식 가능한 로직을 구현함으로써, 신호등 인식률을 높여 자율 주행 차량의 주행 안정성을 높이게 된다.As described above, according to the present invention, only an image recognition range corresponding to a traffic light is limited and recognized among the images photographed by the vehicle, and the logic that recognizes the signal of the traffic light is implemented using the nearby vehicle, The driving stability of the traveling vehicle is enhanced.

한편, 본 발명은 상기한 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limited to the specific embodiments set forth herein; rather, .

1 : 제어기 3 : 카메라
5 : 지도데이터 7 : GPS수신기
9 : V2V송수신기1: Controller 3: Camera
5: map data 7: GPS receiver
9: V2V transceiver

Claims (9)

제어기가 신호등의 위치정보를 확보하는 신호등위치 확보단계;
제어기가 현재 차량의 위치정보를 확보하는 차량위치 확보단계;
제어기가 상기 신호등의 위치정보와 차량의 위치정보를 바탕으로 차량에서 촬영하는 전방의 영상 중 신호등의 영상인식범위를 결정하는 영상인식범위 결정단계; 및
제어기가 상기 영상인식범위에 촬영된 신호등 영상을 바탕으로 점등된 신호등의 신호를 판단 및 인식하는 제1신호인식단계;를 포함하는 교통신호 인식방법.A traffic light position assuring step of the controller securing position information of a traffic light;
A vehicle position securing step of securing position information of a current vehicle by the controller;
An image recognition range determining step of determining an image recognition range of a traffic light in a forward image taken by a vehicle based on the position information of the traffic light and the vehicle position information; And
And a first signal recognition step of the controller determining and recognizing a signal of a traffic light illuminated based on the traffic light image photographed in the image recognition range. 청구항 1에 있어서,
상기 영상인식범위 결정단계에서는,
상기 신호등의 3차원 좌표와 차량의 3차원 좌표를 이용하여 차량과 신호등 간의 거리와, 신호등의 높이와, 차량에서 신호등을 향한 각도를 계산하여 신호등의 영상인식범위를 결정하는 것을 특징으로 하는 교통신호 인식방법.The method according to claim 1,
In the image recognition range determination step,
Wherein the image recognition range of the traffic light is determined by calculating the distance between the vehicle and the traffic light, the height of the traffic light, and the angle toward the traffic light from the vehicle using the three-dimensional coordinates of the traffic light and the three- Recognition method. 청구항 1에 있어서,
상기 제1신호수신단계 이 후에, 상기 제어기가 주변 차량이 인식한 해당 신호등의 신호 인식 결과를 통신을 통해 수신받는 신호수신단계;
상기 신호수신단계에서 수신한 신호 인식 결과를 바탕으로 제어기가 해당 신호등의 신호를 판단 및 인식하는 제2신호인식단계;를 더 포함하는 것을 특징으로 하는 교통신호 인식방법.The method according to claim 1,
A signal receiving step of receiving the signal recognition result of the corresponding signal recognized by the surrounding vehicle through the communication after the first signal receiving step;
And a second signal recognition step in which the controller determines and recognizes the signal of the corresponding signal based on the signal recognition result received in the signal reception step. 청구항 3에 있어서,
상기 제어기가 인식한 해당 신호등의 신호를 통신을 통해 송출하는 것을 특징으로 하는 교통신호 인식방법.The method of claim 3,
And transmitting the signal of the corresponding signal recognized by the controller through communication. 청구항 3에 있어서,
상기 제2신호인식단계 이 후에, 상기 제어기가 차량에서 촬영된 영상을 바탕으로 주변 차량의 움직임을 인식하여 해당 신호등의 신호를 판단 및 인식하는 제3신호인식단계;를 더 포함하는 것을 특징으로 하는 교통신호 인식방법.The method of claim 3,
And a third signal recognition step in which the controller recognizes the movement of the surrounding vehicle based on the image photographed by the vehicle and then judges and recognizes the signal of the corresponding signal lamp after the second signal recognition step Traffic signal recognition method. 청구항 5에 있어서,
상기 제3신호인식단계는,
촬영된 영상의 중심부에서 좌측 및 우측으로 차량의 움직임이 인지되는 경우, 해당 신호등의 정지신호로 인식하고;
촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지되는 경우, 해당 신호등의 직진신호로 인식하며;
촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지됨과 동시에 촬영된 영상의 중심부에서 우측에서 좌측으로 차량의 움직임이 인지되는 경우, 해당 신호등의 좌회전 신호로 인식하고;
촬영된 영상의 우하단 또는 좌하단에서 중심부로 차량의 움직임이 인지됨과 동시에 촬영된 영상의 중심부에서 좌측에서 우측으로 차량의 움직임이 인지되는 경우, 해당 신호등의 우회전 신호로 인식하는 것을 특징으로 하는 교통신호 인식방법.The method of claim 5,
Wherein the third signal recognition step comprises:
Recognizing the movement of the vehicle as a stop signal of the corresponding signal when the motion of the vehicle is recognized to the left and right at the center of the photographed image;
If the movement of the vehicle is recognized from the lower right or lower left end of the photographed image to the center, it is recognized as a straight ahead signal of the corresponding signal;
Recognizing the movement of the vehicle from the lower right or lower left end of the photographed image to the center and recognizing the movement of the vehicle as a left turn signal when the movement of the vehicle is recognized from the center of the photographed image from right to left;
When the movement of the vehicle is recognized from the lower right or lower left end of the photographed image to the center and at the same time the movement of the vehicle is recognized from the left to the right in the center of the photographed image, Signal recognition method. 청구항 5에 있어서,
상기 제1신호인식단계에 의해 신호등의 신호 판단이 불가한 경우, 제2신호인식단계를 통해 신호등의 신호를 판단 및 인식하고;
상기 제2신호인식단계에 의해 신호등의 신호 판단이 불가한 경우, 제3신호인식단계를 통해 신호등의 신호를 판단 및 인식하는 것을 특징으로 하는 교통신호 인식방법.The method of claim 5,
Judging and recognizing the signal of the traffic light through the second signal recognition step when the signal judgment of the traffic light is impossible by the first signal recognition step;
And when the signal of the traffic light is not judged by the second signal recognizing step, the signal of the traffic light is judged and recognized through the third signal recognizing step. 신호등의 위치정보가 저장된 지도데이터;
현재 차량 위치정보를 확보하는 GPS시스템; 및
상기 신호등의 위치정보와 차량의 위치정보를 바탕으로 차량에서 촬영하는 전방의 영상 중 신호등의 영상인식범위를 결정하고, 상기 영상인식범위에 촬영된 신호등 영상을 바탕으로 점등된 신호등의 신호를 판단 및 인식하는 제어기;를 포함하는 교통신호 인식시스템.Map data in which position information of a traffic light is stored;
A GPS system for acquiring current vehicle location information; And
Determining an image recognition range of a traffic light among images ahead of the vehicle to be photographed on the basis of the position information of the traffic lights and the position information of the vehicle, determining and determining signals of the traffic lights based on the traffic light images photographed in the image recognition range, And a controller for recognizing the traffic signal. 청구항 8에 있어서,
차량에 설치되어, 제어기가 인식한 신호등 인식 결과를 주변 차량에 송신하고, 주변 차량이 인식한 신호등 인식 결과를 수신받는 V2V송수신기;를 더 포함하는 것을 특징으로 하는 교통신호 인식시스템.The method of claim 8,
And a V2V transceiver installed in the vehicle for transmitting a signal recognition result recognized by the controller to the neighboring vehicle and receiving a signal light recognition result recognized by the neighboring vehicle.
KR1020160169997A 2016-12-13 2016-12-13 Method and system for realizing a traffic signal KR102699000B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160169997A KR102699000B1 (en) 2016-12-13 2016-12-13 Method and system for realizing a traffic signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160169997A KR102699000B1 (en) 2016-12-13 2016-12-13 Method and system for realizing a traffic signal

Publications (2)

Publication Number Publication Date
KR20180068262A true KR20180068262A (en) 2018-06-21
KR102699000B1 KR102699000B1 (en) 2024-08-23

Family

ID=62806451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160169997A KR102699000B1 (en) 2016-12-13 2016-12-13 Method and system for realizing a traffic signal

Country Status (1)

Country Link
KR (1) KR102699000B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473414A (en) * 2019-08-20 2019-11-19 北京经纬恒润科技有限公司 A kind of vehicle running path determines method, apparatus and system
KR20210039245A (en) * 2019-10-01 2021-04-09 (주) 오토노머스에이투지 Method and computing device for specifying traffic light of interest in autonomous driving system
US20220073106A1 (en) * 2020-09-08 2022-03-10 Hyundai Motor Company Vehicle and method of controlling autonomous driving of vehicle
WO2022197628A1 (en) * 2021-03-17 2022-09-22 Argo AI, LLC Remote guidance for autonomous vehicles
KR102458071B1 (en) 2021-04-15 2022-10-25 주식회사 에스더블유엠 Apparatus and method for recognition traffic signal of autonomous vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203115A (en) * 2013-04-01 2014-10-27 パイオニア株式会社 Detection device, control method, program and storage medium
JP2015524762A (en) * 2012-06-01 2015-08-27 グーグル・インク Inferring traffic signal status and other conditions of vehicle environment based on surrogate data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015524762A (en) * 2012-06-01 2015-08-27 グーグル・インク Inferring traffic signal status and other conditions of vehicle environment based on surrogate data
JP2014203115A (en) * 2013-04-01 2014-10-27 パイオニア株式会社 Detection device, control method, program and storage medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
디지털 영상처리 기술을 이용한 교통신호등 자동 판별 시스템 개발(전자공학회 논문지, 2009. 3, 92-99)
색상 및 형태 특징을 고려한 교통신호 고속 인식 알고리즘(한국방송공학회 학술발표대회 논문집, 2016. 6, 200-203)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473414A (en) * 2019-08-20 2019-11-19 北京经纬恒润科技有限公司 A kind of vehicle running path determines method, apparatus and system
CN110473414B (en) * 2019-08-20 2021-03-23 北京经纬恒润科技股份有限公司 Vehicle driving path determining method, device and system
KR20210039245A (en) * 2019-10-01 2021-04-09 (주) 오토노머스에이투지 Method and computing device for specifying traffic light of interest in autonomous driving system
US20220073106A1 (en) * 2020-09-08 2022-03-10 Hyundai Motor Company Vehicle and method of controlling autonomous driving of vehicle
US12103563B2 (en) * 2020-09-08 2024-10-01 Hyundai Motor Company Vehicle and method of controlling autonomous driving of vehicle by determining erroneous traffic light information
WO2022197628A1 (en) * 2021-03-17 2022-09-22 Argo AI, LLC Remote guidance for autonomous vehicles
KR102458071B1 (en) 2021-04-15 2022-10-25 주식회사 에스더블유엠 Apparatus and method for recognition traffic signal of autonomous vehicle

Also Published As

Publication number Publication date
KR102699000B1 (en) 2024-08-23

Similar Documents

Publication Publication Date Title
US11157751B2 (en) Traffic guide object recognition device, traffic guide object recognition method, and storage medium
CN106064626B (en) Controlling device for vehicle running
KR20180068262A (en) Method and system for realizing a traffic signal
US20190276028A1 (en) Vehicle control device, vehicle control method, and storage medium
JP7045880B2 (en) Vehicle lighting system and vehicle
US10803752B2 (en) Roadside unit and vehicle
US10857939B2 (en) Notification device
CN111731295B (en) Travel control device, travel control method, and storage medium storing program
JP7286691B2 (en) Determination device, vehicle control device, determination method, and program
US20190180117A1 (en) Roadside object recognition apparatus
US20200211379A1 (en) Roundabout assist
JP2021149321A (en) Driving control device, vehicle, driving control method and program
US10759329B2 (en) Out-of-vehicle notification device
CN112305499A (en) Method and device for positioning according to light source
CN114944073B (en) Map generation device and vehicle control device
KR102395844B1 (en) Method for guiding of vehicles participating in platoon based on vehicle approaching, and device for providing the same method
JP2010134718A (en) Information provision device and information provision method for vehicle
CN114187778A (en) Communication control device, vehicle, computer-readable storage medium, and communication control method
WO2020136893A1 (en) Communication system, communication terminal, control method, program, and storage medium storing program
JP2007072948A (en) Traffic signal lighting state identification method and apparatus
JP7510894B2 (en) Vehicle display control device and vehicle display control method
JP7543196B2 (en) Driving control device
CN116892919A (en) map generation device
CN118116186A (en) Lane estimating device and map generating device
JP2022124233A (en) Display control unit for vehicle, and display control method for vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant