KR102445635B1 - Method of detecting stopline of vehicle - Google Patents

Method of detecting stopline of vehicle Download PDF

Info

Publication number
KR102445635B1
KR102445635B1 KR1020200161138A KR20200161138A KR102445635B1 KR 102445635 B1 KR102445635 B1 KR 102445635B1 KR 1020200161138 A KR1020200161138 A KR 1020200161138A KR 20200161138 A KR20200161138 A KR 20200161138A KR 102445635 B1 KR102445635 B1 KR 102445635B1
Authority
KR
South Korea
Prior art keywords
straight lines
vehicle
stop line
detecting
straight
Prior art date
Application number
KR1020200161138A
Other languages
Korean (ko)
Other versions
KR20220108220A (en
Inventor
김의호
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020200161138A priority Critical patent/KR102445635B1/en
Publication of KR20220108220A publication Critical patent/KR20220108220A/en
Application granted granted Critical
Publication of KR102445635B1 publication Critical patent/KR102445635B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Traffic Control Systems (AREA)

Abstract

정지선 검출 방법이 개시된다. 정지선 검출 방법은, 차량 전방에 대한 이미지를 획득하는 단계, 차량 전방의 이미지에 포함된 직선들을 검출하는 단계, 직선들 중 서로 평행한 두 직선들을 포함하는 직선 쌍을 선택하는 단계 및 직선 쌍에 포함된 두 직선들 사이의 거리에 기초하여 정지선을 검출하는 단계를 포함한다.A stop line detection method is disclosed. The method for detecting a stop line includes the steps of acquiring an image of the front of the vehicle, detecting straight lines included in the image in front of the vehicle, selecting a straight line pair including two parallel straight lines from among the straight lines, and including the straight line pair and detecting a stop line based on the distance between the two straight lines.

Description

차량의 정지선 검출 방법{METHOD OF DETECTING STOPLINE OF VEHICLE}Method of detecting a vehicle's stop line {METHOD OF DETECTING STOPLINE OF VEHICLE}

본 발명은 차량의 정지선 검출 방법에 관한 것이다.The present invention relates to a method for detecting a stop line of a vehicle.

우리 생활환경에는 많은 종류의 위험한 가스가 존재하고 있으며, 경우에 따라 상기 가지능형 운전자 보조시스템(Advanced Driver Assistance System (ADAS))은 차량에 탑재된 다양한 센서를 이용하여, 차량의 주행 중 발생할 수 있는 상황을 차량이 스스로 인식하고, 이에 따라 특정 동작(알림 또는 정지)을 수행하는 시스템을 의미한다. 이러한 ADAS는 운전자 및 보행자의 안전을 보장하는 데 큰 도움이 되고 있다. 예컨대, ADAS 중 하나로 보행자 감지 및 충돌 저감 시스템(Pedestrian Detection and Collision Mitigation System)이 있다. PDCMS는 전방의 보행자를 감지하고, 보행자가 감지되면 자동으로 감속 및 정지를 수행할 수 있다. 그러나, 차량의 속도가 빠른 경우 이러한 PDCMS로 보행자의 안전을 보장하기에는 부족함이 있다.Many types of dangerous gases exist in our living environment, and in some cases, the Advanced Driver Assistance System (ADAS) uses various sensors mounted on the vehicle to It refers to a system in which the vehicle recognizes the situation by itself and performs a specific action (notification or stop) accordingly. ADAS is helping to ensure the safety of drivers and pedestrians. For example, as one of the ADAS, there is a Pedestrian Detection and Collision Mitigation System. PDCMS detects a pedestrian in front, and when a pedestrian is detected, it can automatically decelerate and stop. However, when the speed of the vehicle is high, such PDCMS is insufficient to ensure the safety of pedestrians.

한편, 건널목, 교차로 및 횡단보도와 같은 보행로 전방에는 정지선이 도시되어 있고, 주행하는 차량은 정지 신호에 따라 정지선 전에 정지해야 한다. 따라서, 정지선을 미리 검출할 수 있다면, 보행자의 안전이 더 보장될 수 있다.On the other hand, a stop line is shown in front of a pedestrian road such as a crossing, an intersection, and a crosswalk, and a moving vehicle must stop before the stop line according to the stop signal. Therefore, if the stop line can be detected in advance, pedestrian safety can be further ensured.

본 발명이 해결하고자 하는 과제는, 차량의 전방 영상으로부터 정지선을 검출할 수 있는 차량의 정지선 검출 방법을 제공하는 것에 있다. An object of the present invention is to provide a method for detecting a stop line of a vehicle capable of detecting a stop line from an image in front of the vehicle.

또한, 본 발명이 해결하고자 하는 과제는, 적은 연산량과 더 높은 정확도로 차량의 전방 영상으로부터 정지선을 검출할 수 있는 차량의 정지선 검출 방법을 제공하는 것에 있다.In addition, an object of the present invention is to provide a method for detecting a stop line of a vehicle capable of detecting a stop line from a front image of the vehicle with a small amount of calculation and higher accuracy.

본 발명의 실시 예들에 따른 정지선 검출 방법은, 차량 전방에 대한 이미지를 획득하는 단계, 차량 전방의 이미지에 포함된 직선들을 검출하는 단계, 직선들 중 서로 평행한 두 직선들을 포함하는 직선 쌍을 선택하는 단계 및 직선 쌍에 포함된 두 직선들 사이의 거리에 기초하여 정지선을 검출하는 단계를 포함한다.The method for detecting a stop line according to embodiments of the present invention includes obtaining an image of the front of the vehicle, detecting straight lines included in the image in front of the vehicle, and selecting a straight line pair including two parallel straight lines among the straight lines and detecting a stop line based on a distance between two straight lines included in the straight line pair.

본 발명의 실시 예들에 따른 정지선 검출 방법에 따르면, 차량은 차량의 전방에 대한 이미지로부터 직선들로부터 정지선을 검출할 수 있는 효과가 있다.According to the method for detecting a stop line according to embodiments of the present invention, the vehicle has an effect of detecting a stop line from straight lines from an image of the front of the vehicle.

특히, 본 발명의 실시 예들에 따른 정지선 검출 방법은 획득된 이미지에 대한 왜곡 보정을 수행하고, 왜곡이 보정된 이미지 중 관심 영역을 설정하고, 관심 영역에 포함된 직선들 중 일정 각도를 가진 직선들을 선택하고, 일정 각도를 가진 직선들 중 서로 평행한 두 직선들 사이의 이격 거리에 기초하여 정지선을 검출할 수 있다. 따라서, 정지선 검출에 소요되는 계산량이 감소하면서도, 더 높은 정확도로 정지선을 검출할 수 있다.In particular, the method for detecting a stop line according to embodiments of the present invention performs distortion correction on an acquired image, sets a region of interest among the distortion-corrected images, and selects straight lines having a predetermined angle among straight lines included in the region of interest. The stop line may be selected based on the separation distance between two parallel straight lines among straight lines having a predetermined angle. Accordingly, it is possible to detect the stop line with higher accuracy while reducing the amount of calculation required for detecting the stop line.

도 1은 본 발명의 실시 예들에 따른 차량 및 차선들을 나타낸다.
도 2는 본 발명의 실시 예들에 따른 차량을 나타낸다.
도 3 내지 도 6는 본 발명의 실시 예들에 따른 정지선 검출 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예들에 따른 정지선 검출 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예들에 따른 정지선 검출 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예들에 따른 정지선 검출 방법을 나타내는 플로우 차트이다.1 shows vehicles and lanes according to embodiments of the present invention.
2 shows a vehicle according to embodiments of the present invention.
3 to 6 are diagrams for explaining a method for detecting a stop line according to embodiments of the present invention.
7 is a view for explaining a method for detecting a stop line according to embodiments of the present invention.
8 is a view for explaining a method for detecting a stop line according to embodiments of the present invention.
9 is a flowchart illustrating a method for detecting a stop line according to embodiments of the present invention.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar elements throughout the specification.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined otherwise, all terms including technical and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Commonly used terms defined in the dictionary are additionally interpreted as having a meaning consistent with the related technical literature and the presently disclosed content, and unless defined, are not interpreted in an ideal or very formal meaning.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein.

도 1은 본 발명의 실시 예들에 따른 차량 및 차선들을 나타낸다. 도 1을 참조하면, 차량(100)은 도로 상에 배치될 수 있고 차량(100)의 주변에는 도로노면표시(Road Surface Marking; 210, 220 및 230)가 도시되어 있다.1 shows vehicles and lanes according to embodiments of the present invention. Referring to FIG. 1 , a vehicle 100 may be disposed on a road, and road surface markings 210 , 220 and 230 are shown around the vehicle 100 .

차량(100)은 모터와 같은 구동 장치에 의해 발생된 구동력에 따라 노면 상을 주행하는 장치일 수 있다. 실시 예들에 따라, 차량(100)은 자동차, 오토바이, 버스, 트레일러, 굴삭기, 휠로더, 포크레인, 크레인 또는 트럭 등일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The vehicle 100 may be a device that travels on a road surface according to a driving force generated by a driving device such as a motor. According to embodiments, the vehicle 100 may be a car, a motorcycle, a bus, a trailer, an excavator, a wheel loader, a fork crane, a crane, or a truck, but embodiments of the present invention are not limited thereto.

차량(100)은 운전자의 제어 또는 차량(100)의 제어에 따라, 도로노면표시(210 내지 230)이 그려진 도로 상을 주행할 수 있다. 또한, 차량(100)은 운전자의 제어 또는 차량(100)의 제어에 따라 조향 동작, 가속 동작, 감속 동작, 변속 동작 및 시동 온/오프 동작을 수행할 수 있다.The vehicle 100 may drive on a road on which the road surface marks 210 to 230 are drawn according to the driver's control or the control of the vehicle 100 . Also, the vehicle 100 may perform a steering operation, an acceleration operation, a deceleration operation, a shift operation, and a starting on/off operation according to the driver's control or the control of the vehicle 100 .

도로노면표시(210 내지 230)는 도로 사용자들에게 정보를 전달하기 위해 글자 또는 기호로서 도로 상에 도시된 것으로, 교통안전표지의 일종이다. 도로노면표시(210 내지 230)는 정지선(210), 차선(220) 및 중앙선(230)을 포함할 수 있다.The road surface marks 210 to 230 are shown on the road as letters or symbols to convey information to road users, and are a kind of traffic safety sign. The road markings 210 to 230 may include a stop line 210 , a lane 220 , and a center line 230 .

정지선(210)은 정지 신호에 따라 차량이 정지해야 하는 위치를 나타내는 선일 수 있다. 예컨대, 정지선(210)은 백색으로 도시될 수 있으며, 그 폭은 30 내지 60cm일 수 있고, 차량(100)이 주행하는 방향과 수직일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The stop line 210 may be a line indicating a position at which the vehicle should stop according to a stop signal. For example, the stop line 210 may be shown in white, the width may be 30 to 60 cm, and may be perpendicular to the direction in which the vehicle 100 travels, but embodiments of the present invention are not limited thereto.

차선(220)은 동일 방향으로 주행하는 차량들의 주행 구역을 구획하는 선일 수 있다. 예컨대, 차선(220)은 백색 또는 청색으로 도시될 수 있으며, 그 폭은 10 내지 15cm일 수 있고, 차량(100)이 주행하는 방향과 평행할 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The lane 220 may be a line dividing a driving area of vehicles traveling in the same direction. For example, the lane 220 may be shown in white or blue, the width may be 10 to 15 cm, and may be parallel to the direction in which the vehicle 100 travels, but embodiments of the present invention are limited thereto. not.

중앙선(230)은 반대 방향으로 주행하는 차량들의 주행 구역을 구획하는 선일 수 있다. 예컨대, 중앙선(230)은 주황색으로 도시될 수 있으며, 폭이 10 내지 15cm인 하나 또는 두개의 선으로 도시될 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다. The center line 230 may be a line dividing a driving area of vehicles traveling in opposite directions. For example, the center line 230 may be illustrated in orange, and may be illustrated as one or two lines having a width of 10 to 15 cm, but embodiments of the present invention are not limited thereto.

본 발명의 실시 예들에 따르면, 차량(100)은 전방의 영상을 획득하고, 전방의 영상으로부터 정지선(210)을 인식(또는 검출)할 수 있다. 또한, 차량(100)은 정지선(210)의 검출에 따라, 차량(100)의 감속 또는 정지를 수행할 수 있다.According to embodiments of the present disclosure, the vehicle 100 may acquire an image of the front and recognize (or detect) the stop line 210 from the image of the front. Also, the vehicle 100 may decelerate or stop the vehicle 100 according to the detection of the stop line 210 .

도 2는 본 발명의 실시 예들에 따른 차량을 나타낸다. 도 2를 참조하면, 차량(100)은 센서(110), 구동 장치(120), 컨트롤러(130) 및 메모리(150)를 포함할 수 있다.2 shows a vehicle according to embodiments of the present invention. Referring to FIG. 2 , a vehicle 100 may include a sensor 110 , a driving device 120 , a controller 130 , and a memory 150 .

센서(110)는 차량(100)의 주변의 환경을 감지할 수 있다. 실시 예들에 따라, 센서(110)는 차량(100)의 전방의 영상을 획득하거나, 전방의 물체를 감지하거나, 또는 차량(100)과 전방의 물체 사이의 거리를 측정할 수 있다. 예컨대, 센서(110)는 카메라 및 라이다 센서 중 어느 하나 또는 이들의 조합을 의미할 수 있다.The sensor 110 may sense an environment around the vehicle 100 . According to embodiments, the sensor 110 may acquire an image of the front of the vehicle 100 , detect an object in front, or measure a distance between the vehicle 100 and the object in front. For example, the sensor 110 may refer to any one of a camera and a lidar sensor or a combination thereof.

센서(110)는 주변 환경을 감지하고, 감지 데이터를 메모리(150)에 저장할 수 있다. 실시 예들에 따라, 센서(110)는 차량(100)의 전방 영상을 나타내는 이미지를 생성하고, 생성된 이미지를 메모리(150)에 저장할 수 있다.The sensor 110 may sense the surrounding environment and store the sensed data in the memory 150 . According to embodiments, the sensor 110 may generate an image representing a front image of the vehicle 100 , and store the generated image in the memory 150 .

통신 장치(120)는 주변 장치와 데이터를 주고받을 수 있다. 예컨대, 통신 장치(120)는 차량(100)을 제어하도록 구성되는 인프라(infrastructure)와 데이터를 주고받을 수 있다. 이러한 통신은 차량 대 인프라 통신(Vehicle to Infra (V2I)) 통신으로 지칭된다. 또한, 통신 장치(120)는 다른 차량과 데이터를 주고받을 수 있다. 이러한 통신은 차량 대 차량 통신(Vehicle to Vehicle (V2V))으로 지칭된다. The communication device 120 may send and receive data to and from a peripheral device. For example, the communication device 120 may exchange data with an infrastructure configured to control the vehicle 100 . Such communication is referred to as vehicle to infrastructure (V2I) communication. Also, the communication device 120 may exchange data with other vehicles. Such communication is referred to as Vehicle to Vehicle (V2V).

통신 장치(120)는 무선 통신 프로토콜 또는 유선 통신 프로토콜을 이용하여 데이터를 전송하거나 수신할 수 있다. 예컨대, 상기 무선 통신 프로토콜은 무선랜(Wireless LAN (WLAN)), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband (Wibro)), 와이맥스(World Interoperability for Microwave Access (Wimax)), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution (LTE)), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service (WMBS)), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication (NFC)), 초음파 통신(Ultra Sound Communication (USC)), 가시광 통신 (Visible Light Communication (VLC)), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등을 포함할 수 있다. 또한, 유선 통신 프로토콜은 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication (PLC)), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 통신 등을 포함할 수 있으며, 이제 제한되는 것이 아닌, 다른 장치와의 통신 환경을 제공할 수 있는 프로토콜은 모두 포함될 수 있다.The communication device 120 may transmit or receive data using a wireless communication protocol or a wired communication protocol. For example, the wireless communication protocol is a wireless LAN (WLAN), DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband (Wibro)), WiMAX (World Interoperability for Microwave Access (Wimax)), GSM (Global System) for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink) Packet Access), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service ( WMBS)), Bluetooth, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra-Wideband), ZigBee, Near Field Communication (NFC), It may include Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and the like. In addition, wired communication protocols include wired LAN (Local Area Network), wired WAN (Wide Area Network), Power Line Communication (PLC), USB communication, Ethernet, serial communication, optical/ It may include coaxial cable communication and the like, and any protocol capable of providing a communication environment with other devices, which is not now limited, may be included.

컨트롤러(130)는 차량(100)의 전반적인 작동을 제어할 수 있다. 컨트롤러(130)는 센서(110)에 의해 생성된 감지 데이터 또는 통신 장치(120)에 의해 수신된 데이터에 기초하여 구동 장치(140)를 제어할 수 있다. 실시 예들에 따라, 컨트롤러(130)는 구동 장치(140)를 제어하기 위한 제어 신호를 생성하고, 생성된 제어 신호를 구동 장치(140)로 출력할 수 있다.The controller 130 may control the overall operation of the vehicle 100 . The controller 130 may control the driving device 140 based on sensed data generated by the sensor 110 or data received by the communication device 120 . In some embodiments, the controller 130 may generate a control signal for controlling the driving device 140 , and output the generated control signal to the driving device 140 .

즉, 컨트롤러(130)는 차량(100)을 제어하기 위한 일련의 연산들 또는 판단들을 수행할 수 있는 장치를 의미할 수 있다. 예컨대, 컨트롤러(130)는 차량(100)을 제어하기 위한 프로그램이 실행되는 프로세서일 수 있다. 예컨대, 컨트롤러(130)는 ECU(electronic controller unit)일 수 있다.That is, the controller 130 may refer to a device capable of performing a series of operations or determinations for controlling the vehicle 100 . For example, the controller 130 may be a processor in which a program for controlling the vehicle 100 is executed. For example, the controller 130 may be an electronic controller unit (ECU).

본 발명의 실시 예들에 따른 컨트롤러(130)는 센서(110)에 의해 생성된 차량(100)의 전방 영상과 관련된 이미지를 이용하여, 차량(100) 전방의 정지선(210)을 인식(또는 검출)할 수 있다.The controller 130 according to embodiments of the present invention recognizes (or detects) the stop line 210 in front of the vehicle 100 by using the image related to the front image of the vehicle 100 generated by the sensor 110 . can do.

컨트롤러(130)는 차량(100)의 전방에 대한 이미지로부터 차량(100) 전방의 정지선(210)을 인식하고, 인식된 정지선(210)에 대한 정보를 메모리(150)에 저장할 수 있다. 실시 예들에 따라, 컨트롤러(130)는 인식된 정지선(210)의 위치, 인식된 정지선(210)과 차량(100) 사이의 거리, 정지선(210)의 폭 및 정지선(210)의 길이 등 정지선(210)에 관련된 정보를 메모리(150)에 저장할 수 있다.The controller 130 may recognize the stop line 210 in front of the vehicle 100 from the image of the front of the vehicle 100 , and store information on the recognized stop line 210 in the memory 150 . According to embodiments, the controller 130 determines the position of the recognized stop line 210, the distance between the recognized stop line 210 and the vehicle 100, the width of the stop line 210, and the length of the stop line 210. Information related to the 210 may be stored in the memory 150 .

또한, 컨트롤러(130)는 정지선(210)의 인식에 응답하여 구동 장치(140)를 제어할 수 있다. 실시 예들에 따라, 컨트롤러(130)는 인식된 정지선(210)에 관련된 정보에 기초하여, 구동 장치(140)를 제어할 수 있다. 예컨대, 컨트롤러(130)는 인식된 정지선(210)에 관련된 정보에 기초하여, 구동 장치(140)를 제어함으로써 차량(100)이 가속, 감속, 정지 또는 조향되도록 할 수 있다.Also, the controller 130 may control the driving device 140 in response to the recognition of the stop line 210 . According to embodiments, the controller 130 may control the driving device 140 based on information related to the recognized stop line 210 . For example, the controller 130 may accelerate, decelerate, stop, or steer the vehicle 100 by controlling the driving device 140 based on information related to the recognized stop line 210 .

구동 장치(140)는 차량(100)의 동작을 수행하는 장치일 수 있다. 실시 예들에 따라, 구동 장치(140)는 컨트롤러(130)의 제어에 따라, 차량(100)의 이동, 정지, 이동 재시작, 조향, 가속, 감속, 주차, 점멸, 경보 등을 수행할 수 있다.The driving device 140 may be a device that performs an operation of the vehicle 100 . According to embodiments, the driving device 140 may perform movement, stop, movement restart, steering, acceleration, deceleration, parking, flashing, alarm, etc. of the vehicle 100 under the control of the controller 130 .

예컨대, 구동 장치(140)는 모터, 조향 장치, 변속 장치 또는 브레이크 등을 포함할 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.For example, the driving device 140 may include a motor, a steering device, a transmission device, or a brake, but embodiments of the present invention are not limited thereto.

메모리(150)는 차량(100)의 작동에 필요한 데이터를 저장할 수 있다. 실시 예들에 따라, 메모리(150)는 센서(110)에 의해 생성된 감지 데이터를 저장할 수 있고, 통신 장치(120)에 의해 수신된 데이터를 저장할 수 있다.The memory 150 may store data necessary for the operation of the vehicle 100 . According to embodiments, the memory 150 may store the sensed data generated by the sensor 110 and may store the data received by the communication device 120 .

예컨대, 메모리(150)는 차량(100)의 전방 영상과 관련된 이미지에 기초하여 차량(100) 전방의 정지선(210)을 인식(또는 검출)하기 위한 정지선 검출 프로그램을 저장할 수 있다.For example, the memory 150 may store a stop line detection program for recognizing (or detecting) the stop line 210 in front of the vehicle 100 based on an image related to the image in front of the vehicle 100 .

도 3 내지 도 6는 본 발명의 실시 예들에 따른 정지선 검출 방법을 설명하기 위한 도면이다.3 to 6 are diagrams for explaining a method for detecting a stop line according to embodiments of the present invention.

도 3을 참조하면, 차량(100)은 전방의 영상을 촬영하고, 촬영 결과에 따라 차량(100)의 전방의 영상을 나타내는 이미지(IMG)를 생성할 수 있다. 실시 예들에 따라, 차량(100)은 차량(100) 에 설치된 센서(예컨대, 카메라; 110)를 이용하여 차량(100)의 전방의 영상을 나타내는 이미지(IMG)를 생성할 수 있다. 예컨대, 센서(110)은 차량의 하부, 상부, 전방, 후방 또는 측방에 설치될 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.Referring to FIG. 3 , the vehicle 100 may capture an image of the front, and may generate an image IMG representing the image of the front of the vehicle 100 according to a photographing result. According to embodiments, the vehicle 100 may generate an image IMG indicating an image of the front of the vehicle 100 using a sensor (eg, a camera) 110 installed in the vehicle 100 . For example, the sensor 110 may be installed in the lower, upper, front, rear or side of the vehicle, but embodiments of the present invention are not limited thereto.

예컨대, 차량(100)은 광각 렌즈 또는 어안 렌즈를 포함하는 카메라를 이용하여, 전방의 영상을 촬영하고, 촬영 결과에 따라 차량(100)의 전방의 영상을 나타내는 이미지(IMG)를 생성할 수 있다. 이 때, 도 3에 도시된 바와 같이, 이미지(IMG)는 카메라의 광각 렌즈 또는 어안 렌즈에 의해, 왜곡된 영상을 나타낼 수 있다.For example, the vehicle 100 may use a camera including a wide-angle lens or a fisheye lens to capture an image of the front, and generate an image IMG indicating an image of the front of the vehicle 100 according to the shooting result. . In this case, as shown in FIG. 3 , the image IMG may represent an image distorted by a wide-angle lens or a fisheye lens of the camera.

도 4를 참조하면, 컨트롤러(130)는 카메라에 의해 생성된 이미지(IMG)에 대해 왜곡 보정을 수행하고, 보정된 이미지(IMG')를 생성할 수 있다. 왜곡이 발생한 이미지(IMG)의 경우, 직선들이 곡선으로 표시될 수 있다. 따라서, 왜곡이 발생한 이미지(IMG)를 사용하는 경우 정지선 검출이 부정확할 수 있다. 이에 따라, 컨트롤러(130)는 정지선 검출의 정확도를 향상시키기 위해, 이미지(IMG)에 포함된 왜곡된 직선들을 직선화하는 왜곡 보정을 수행하고, 보정된 이미지(IMG')를 생성할 수 있다.Referring to FIG. 4 , the controller 130 may perform distortion correction on an image IMG generated by a camera and generate a corrected image IMG′. In the case of the distorted image IMG, straight lines may be displayed as curved lines. Therefore, in the case of using the distorted image IMG, the stop line detection may be inaccurate. Accordingly, the controller 130 may perform distortion correction for straightening the distorted straight lines included in the image IMG in order to improve the accuracy of the stop line detection, and generate the corrected image IMG'.

실시 예들에 따라, 컨트롤러(130)는 카메라(110)와 관련된 파라미터를 이용하여, 이미지(IMG)에 대해서 왜곡 보정을 수행하고, 왜곡이 보정된 이미지(IMG')를 생성할 수 있다. 도 4에 도시된 바와 같이, 왜곡이 보정된 이미지(IMG')에서는 직선이 왜곡되어 있지 않다.According to embodiments, the controller 130 may perform distortion correction on the image IMG by using a parameter related to the camera 110 , and may generate the distortion-corrected image IMG′. As shown in FIG. 4 , the straight line is not distorted in the distortion-corrected image IMG′.

한편, 실시 예들에 따라, 카메라(110)의 특성에 따라 이미지(IMG)에 왜곡이 발생하지 않는 경우, 컨트롤러(130)는 왜곡 보정을 수행하지 않을 수 있다.Meanwhile, according to embodiments, when distortion does not occur in the image IMG according to characteristics of the camera 110 , the controller 130 may not perform distortion correction.

도 5를 참조하면, 컨트롤러(130)는 왜곡이 보정된 이미지(IMG') 중 관심 영역(ROI)을 설정할 수 있다. 실시 예들에 따라, 컨트롤러(130)는 보정된 이미지(IMG') 중 차량(100) 전방의 일정 영역을 관심 영역(ROI)으로서 설정할 수 있다. 이를 통해, 컨트롤러(130)의 연산량이 감소할 수 있고, 정확도가 향상될 수 있다.Referring to FIG. 5 , the controller 130 may set a region of interest ROI among the distortion-corrected image IMG′. According to embodiments, the controller 130 may set a predetermined region in front of the vehicle 100 among the corrected image IMG′ as the region of interest ROI. Through this, the amount of computation of the controller 130 may be reduced, and accuracy may be improved.

예컨대, 컨트롤러(130)는 보정된 이미지(IMG')의 영역들 중에서 차량(100)의 이 위치한 차선 영역의 전방을 포함하는 영역을 관심 영역(ROI)으로서 설정할 수 있다. 이에 따라, 차량(100)이 위치한 차선 영역을 제외한 나머지 차선 영역은 관심 영역(ROI)에서 제외될 수 있다. For example, the controller 130 may set a region including the front of the lane region in which the vehicle 100 is located among regions of the corrected image IMG′ as the region of interest ROI. Accordingly, the remaining lane areas other than the lane area in which the vehicle 100 is located may be excluded from the ROI.

컨트롤러(130)는 보정된 이미지(IMG') 중 관심 영역(ROI)에 포함된 정지선(210)을 검출할 수 있다.The controller 130 may detect the stop line 210 included in the region of interest ROI from among the corrected image IMG′.

컨트롤러(130)는 관심 영역(ROI)에 포함된 직선들(LN)을 검출할 수 있다. 실시 예들에 따라, 컨트롤러(130)는 경계 검출(edge detection) 알고리즘에 기초하여, 관심 영역(ROI)에 포함된 직선들(LN)을 검출할 수 있다. 예컨대, 컨트롤러(130)는 커브 피팅(curve fitting), RANSAC(Random Sample Consensus) 또는 허프 변환(Hough transform)을 이용하여 관심 영역(ROI)에 포함된 직선들(LN)을 검출할 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The controller 130 may detect straight lines LN included in the region of interest ROI. In some embodiments, the controller 130 may detect the straight lines LN included in the ROI based on an edge detection algorithm. For example, the controller 130 may detect the straight lines LN included in the region of interest ROI using curve fitting, RANSAC (Random Sample Consensus), or Hough transform. Embodiments of the invention are not limited thereto.

도 6을 참조하면, 컨트롤러(130)는 관심 영역(ROI)에 포함된 직선들(LN) 중에서 서로 평행한 두 개의 직선으로 구성되는 직선 쌍(LNP)을 선택할 수 있다. 실시 예들에 따라, 컨트롤러(130)는 직선들(LN) 각각의 각도를 계산하고, 계산된 각도들에 기초하여 직선들(LN) 중 서로 평행한 두 개의 직선으로 구성되는 직선 쌍(LNP)을 선택(또는 선별)할 수 있다. 이 때, 직선들(LN) 각각의 각도는 차량(100)의 진행 방향을 기준으로 계산될 수 있다.Referring to FIG. 6 , the controller 130 may select a straight line pair LNP including two parallel straight lines from among the straight lines LN included in the ROI. According to embodiments, the controller 130 calculates an angle of each of the straight lines LN, and selects a straight line pair LNP consisting of two parallel straight lines among the straight lines LN based on the calculated angles. You can select (or select). In this case, the angle of each of the straight lines LN may be calculated based on the traveling direction of the vehicle 100 .

실시 예들에 따라, 컨트롤러(130)는 직선들(LN) 각각의 각도를 계산하고, 계산된 각도들에 기초하여 직선들(LN) 중 차량(100)의 주행 방향과 일정한 각도 범위 내에 있는 타겟 직선들을 결정하고, 타겟 직선들 중에서 서로 평행한 두 개의 직선으로 구성되는 직선 쌍(LNP)을 선택(또는 선별)할 수 있다. 예컨대, 컨트롤러(130)는 계산된 각도들에 기초하여 직선들(LN) 중 차량(100)의 주행 방향과 수직하는 타겟 직선들을 결정하고, 이들 수직하는 타겟 직선들 중 서로 평행한 두 개의 직선으로 구성되는 직선 쌍(LNP)을 선택(또는 선별)할 수 있다. According to embodiments, the controller 130 calculates an angle of each of the straight lines LN, and based on the calculated angles, among the straight lines LN, a target straight line within a predetermined angle range with the driving direction of the vehicle 100 . may be determined, and a straight line pair (LNP) composed of two parallel straight lines may be selected (or selected) from among the target straight lines. For example, the controller 130 determines target straight lines perpendicular to the driving direction of the vehicle 100 among the straight lines LN based on the calculated angles, and uses two straight lines parallel to each other among the perpendicular target straight lines. It is possible to select (or select) a pair of straight lines (LNPs) to be constructed.

이처럼, 컨트롤러(130)는 관심 영역(ROI)에 포함된 직선들(LN) 중 특정한 각도 범위 내에 있는 직선들 중 직선 쌍(LNP)을 결정할 수 있고, 이에 따라, 컨트롤러(130)는 직선들(LN) 중에서 차량(100)의 진행방향과 평행한 직선들과 기타 도로노면표시를 제외한 직선들 중 직선 쌍(LNP)을 결정할 수 있으므로, 연산량이 줄어들 수 있고 정확도가 개선될 수 있다.As such, the controller 130 may determine a straight line pair LNP among straight lines within a specific angular range among the straight lines LN included in the region of interest ROI, and accordingly, the controller 130 determines the straight lines LN Since the straight line pair LNP may be determined among straight lines excluding straight lines parallel to the traveling direction of the vehicle 100 and other road surface markings among LN), the amount of calculation may be reduced and accuracy may be improved.

컨트롤러(130)는 결정된 직선 쌍(LNP) 사이의 거리(D)에 기초하여, 정지선(210)을 검출할 수 있다. 실시 예들에 따라, 컨트롤러(130)는 결정된 직선 쌍(LNP) 사이의 거리(D)를 계산하고, 계산된 거리(D)가 정지선(210)의 규격 폭 이내일 때, 직선 쌍(LNP)을 정지선(210)으로서 검출할 수 있다. The controller 130 may detect the stop line 210 based on the determined distance D between the straight line pair LNP. According to embodiments, the controller 130 calculates the distance D between the determined straight line pair LNP, and when the calculated distance D is within the standard width of the stop line 210 , the straight line pair LNP is It can be detected as a stop line 210 .

예컨대, 정지선(210)의 규격 폭이 30 내지 60cm라 할 때, 컨트롤러(130)는 결정된 직선 쌍(LNP)들 중에서 두 직선 사이의 거리가 20 내지 70cm, 바람직하게는 30 내지 60cm인 직선 쌍(LNP)을 정지선(210)으로서 검출할 수 있다.For example, when the standard width of the stop line 210 is 30 to 60 cm, the controller 130 sets the distance between the two straight lines among the determined straight line pairs (LNP) of 20 to 70 cm, preferably 30 to 60 cm. LNP) can be detected as the stop line 210 .

본 발명의 실시 예들에 따르면, 차량(100)은 차량(100)의 전방 영상 중 관심 영역(ROI)을 설정하고, 관심 영역(ROI)에 포함된 직선들(LN)을 검출하고, 직선들(LN) 중 이격 거리가 소정의 기준 폭 이내인 두 개의 직선으로 구성되는 직선 쌍을 정지선으로서 검출할 수 있다.According to embodiments of the present invention, the vehicle 100 sets a region of interest (ROI) in the front image of the vehicle 100, detects straight lines LN included in the region of interest (ROI), and selects the straight lines ( Among LN), a straight line pair composed of two straight lines having a separation distance within a predetermined reference width may be detected as a stop line.

도 7은 본 발명의 실시 예들에 따른 정지선 검출 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 두 개의 직선 쌍들(LNP1 및 LNP2)이 도시되어 있다. 컨트롤러(130)는 직선 쌍들(LNP1 및 LNP2)에 포함된 두 개의 직선들 사이의 (이격) 거리(D1 및 D2)에 기초하여, 정지선(210)을 검출할 수 있다. 예컨대, 컨트롤러(130)는 직선 쌍들(LNP1 및 LNP2)에 포함된 두 개의 직선들 사이의 (이격) 거리(D1 및 D2)가 정지선(210)의 기준 폭 이내인 직선 쌍을 정지선(210)으로서 검출할 수 있다.7 is a view for explaining a method for detecting a stop line according to embodiments of the present invention. Referring to FIG. 7 , two straight pairs LNP1 and LNP2 are shown. The controller 130 may detect the stop line 210 based on the (separation) distances D1 and D2 between two straight lines included in the straight line pairs LNP1 and LNP2. For example, the controller 130 sets a straight pair in which the (separation) distances D1 and D2 between the two straight lines included in the straight pairs LNP1 and LNP2 are within the reference width of the stop line 210 as the stop line 210 . can be detected.

예컨대, 제1직선 쌍(LNP1)의 두 개의 직선들 사이의 제1거리(D1)는 정지선(210)의 기준 폭(DR)을 초과한다. 반면, 제2직선 쌍(LNP2)의 두 개의 직선들 사이의 제2거리(D2)는 정지선(210)의 기준 폭(DR) 이하이다. 따라서, 컨트롤러(130)는 직선 쌍들(LNP1 및 LNP2) 중에서 제2직선 쌍(LNP2)을 정지선(210)으로서 검출할 수 있다.For example, the first distance D1 between the two straight lines of the first straight line pair LNP1 exceeds the reference width D R of the stop line 210 . On the other hand, the second distance D2 between the two straight lines of the second straight line pair LNP2 is less than or equal to the reference width D R of the stop line 210 . Accordingly, the controller 130 may detect the second straight line pair LNP2 from among the straight line pairs LNP1 and LNP2 as the stop line 210 .

도 8은 본 발명의 실시 예들에 따른 정지선 검출 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 두 개의 직선 쌍들(LNP1 및 LNP2)이 도시되어 있다. 컨트롤러(130)는 직선 쌍들(LNP1 및 LNP2)에 포함된 두 개의 직선들 사이의 (이격) 거리뿐만 아니라, 직선 쌍들(LNP1 및 LNP2)에 포함된 두 개의 직선들 사이의 이격 공간들(SP1 및 SP2)의 색상에 기초하여 정지선(210)을 검출할 수 있다.8 is a view for explaining a method for detecting a stop line according to embodiments of the present invention. Referring to FIG. 8 , two straight pairs LNP1 and LNP2 are shown. The controller 130 controls not only the (separation) distance between the two straight lines included in the straight line pairs LNP1 and LNP2, but also the spaced apart spaces SP1 and the two straight lines included in the straight line pairs LNP1 and LNP2. The stop line 210 may be detected based on the color of SP2).

실시 예들에 따라, 컨트롤러(130)는 직선 쌍들(LNP1 및 LNP2)에 포함된 두 개의 직선들 사이의 이격 공간들(SP1 및 SP2)의 색상의 휘도(즉, 밝기)가 기준 밝기 이상인 직선 쌍들을 정지선(210)으로서 검출할 수 있다. 이를 통해, 표지판이나 나무 그림자 등을 제외시킬 수 있다.According to embodiments, the controller 130 selects pairs of straight lines in which the luminance (ie, brightness) of the spaced spaces SP1 and SP2 between the two straight lines included in the straight pairs LNP1 and LNP2 is equal to or greater than the reference brightness. It can be detected as a stop line 210 . Through this, it is possible to exclude signs, tree shadows, and the like.

예컨대, 컨트롤러(130)는 직선 쌍들(LNP1 및 LNP2) 중 두 개의 직선들 사이의 이격 공간들(SP1 및 SP2)의 색상과 정지선(210)의 색상인 기준 색상(예컨대, 백색)과의 색차가 기준 값 이내인 직선 쌍을 정지선(210)으로서 검출할 수 있다. 이 때, 색차는 두 색상의 명도 차이, 채도 차이 및 휘도 차이 중 어느 하나를 의미할 수 있다.For example, the controller 130 detects a color difference between the color of the spaced spaces SP1 and SP2 between two straight lines among the straight line pairs LNP1 and LNP2 and a reference color (eg, white) that is the color of the stop line 210 . A pair of straight lines that are within the reference value may be detected as the stop line 210 . In this case, the color difference may mean any one of a brightness difference, a chroma difference, and a luminance difference between two colors.

예컨대, 컨트롤러(130)는 두 개의 직선들 사이의 이격 공간들(SP1 및 SP2)의 색상과 정지선(210)의 색상인 기준 색상이 동일한 직선 쌍을 정지선(210)으로서 검출할 수 있다. For example, the controller 130 may detect a pair of straight lines having the same color as the color of the spaced spaces SP1 and SP2 between the two straight lines and the reference color of the stop line 210 as the stop line 210 .

예컨대, 도 8에 도시된 바와 같이, 직선 쌍들(LNP1 및 LNP2)의 두 개의 직선들 사이의 이격 거리는 모두 정지선(210)의 기준 폭(DR)일 수 있다. 제1직선 쌍(LNP1)의 두 개의 직선들 사이의 제1이격 공간(SP1)의 색상은 회색(예컨대, 도로 색상)이다. 반면, 제2직선 쌍(LNP2)의 두 개의 직선들 사이의 제2이격 공간(SP2)의 색상은 정지선(210)의 기준 색상(예컨대, 백색)이다. 따라서, 컨트롤러(130)는 직선 쌍들(LNP1 및 LNP2) 중에서 제2직선 쌍(LNP2)을 정지선(210)으로서 검출할 수 있다.For example, as shown in FIG. 8 , a distance between two straight lines of the straight pairs LNP1 and LNP2 may be the reference width DR of the stop line 210 . The color of the first separation space SP1 between the two straight lines of the first straight line pair LNP1 is gray (eg, the color of the road). On the other hand, the color of the second spaced space SP2 between the two straight lines of the second straight line pair LNP2 is the reference color (eg, white) of the stop line 210 . Accordingly, the controller 130 may detect the second straight line pair LNP2 from among the straight line pairs LNP1 and LNP2 as the stop line 210 .

도 9는 본 발명의 실시 예들에 따른 정지선 검출 방법을 나타내는 플로우 차트이다. 도 9에 도시된 정지선 검출 방법은 차량(100) 또는 컨트롤러(130)에 의해 수행될 수 있다. 또한, 도 9에 도시된 정지선 검출 방법을 수행하기 위한 명령어들은 컴퓨팅 장치에 의해 판독가능한 비일시적인 저장 매체에 저장될 수 있다. 9 is a flowchart illustrating a method for detecting a stop line according to embodiments of the present invention. The stop line detection method illustrated in FIG. 9 may be performed by the vehicle 100 or the controller 130 . In addition, instructions for performing the stop line detection method illustrated in FIG. 9 may be stored in a non-transitory storage medium readable by a computing device.

도 9를 참조하면, 컨트롤러(130)는 차량(100)의 전방에 대한 이미지(IMG)를 획득할 수 있다(S110). 실시 예들에 따라, 컨트롤러(130)는 센서(110)에 의해 촬영된 차량(100)의 전방에 대한 이미지(IMG)를 메모리(150)로부터 리드할 수 있다.Referring to FIG. 9 , the controller 130 may acquire an image IMG of the front of the vehicle 100 ( S110 ). According to embodiments, the controller 130 may read the image IMG of the front of the vehicle 100 captured by the sensor 110 from the memory 150 .

컨트롤러(130)는 이미지(IMG)에 대한 왜곡 보정을 수행할 수 있다(S120). 실시 예들에 따라, 컨트롤러(130)는 센서(110)에 의해 생성된 이미지(IMG)에 대한 왜곡 보정을 수행하고, 왜곡 보정된 이미지(IMG')를 생성할 수 있다.The controller 130 may perform distortion correction on the image IMG ( S120 ). According to embodiments, the controller 130 may perform distortion correction on the image IMG generated by the sensor 110 and generate the distortion-corrected image IMG'.

컨트롤러(130)는 왜곡 보정된 이미지(IMG') 중 관심 영역(ROI)을 설정할 수 있다. 실시 예들에 따라, 컨트롤러(130)는 차량(100)의 전방 영역 중 일부의 영역을 관심 영역(ROI)으로서 설정할 수 있다.The controller 130 may set a region of interest ROI among the distortion-corrected image IMG′. According to embodiments, the controller 130 may set a portion of the front region of the vehicle 100 as a region of interest (ROI).

컨트롤러(130)는 관심 영역(ROI)에 포함된 직선들을 인식(또는 검출)할 수 있다(S140). 실시 예들에 따라, 컨트롤러(130)는 경계선 검출을 통해, 관심 영역(ROI)에 포함된 직선들을 인식할 수 있다.The controller 130 may recognize (or detect) straight lines included in the region of interest (ROI) (S140). According to embodiments, the controller 130 may recognize straight lines included in the region of interest (ROI) through boundary line detection.

컨트롤러(130)는 인식된 직선들 중 서로 평행한 직선 쌍을 선택할 수 있다(S150). 실시 예들에 따라, 컨트롤러(130)는 인식된 직선들 중에서, 서로 평행한 두 개의 직선들을 포함하는 직선 쌍을 선택할 수 있다. 예컨대, 컨트롤러(130)는 직선들 중에서 차량(100)의 진행방향과 평행한 직선들 중에서 서로 평행한 두 개의 직선들을 포함하는 직선 쌍을 결정할 수 있다.The controller 130 may select a pair of straight lines parallel to each other among the recognized straight lines ( S150 ). According to embodiments, the controller 130 may select a straight line pair including two parallel straight lines from among the recognized straight lines. For example, the controller 130 may determine a straight line pair including two straight lines parallel to each other from among straight lines parallel to the traveling direction of the vehicle 100 .

컨트롤러(130)는 결정된 직선 쌍의 두 직선들 사이의 거리에 기초하여 정지선을 검출할 수 있다(S160). 실시 예들에 따라, 컨트롤러(130)는 결정된 직선 쌍들 중에서, 두 직선들 사이의 거리가 정지선의 기준 폭 이내인 직선 쌍을 정지선으로서 검출할 수 있다.The controller 130 may detect the stop line based on the distance between the two straight lines of the determined straight line pair (S160). According to embodiments, the controller 130 may detect a straight line pair having a distance between the two straight lines within a reference width of the stop line as a stop line from among the determined straight line pairs.

본 발명의 실시 예들에 따른 컨트롤러(130)는 센서(110)에 의해 생성된 차량(100)의 전방 영상과 관련된 이미지를 이용하여, 차량(100) 전방의 정지선(210)을 인식(또는 검출)할 수 있다.The controller 130 according to embodiments of the present invention recognizes (or detects) the stop line 210 in front of the vehicle 100 by using the image related to the front image of the vehicle 100 generated by the sensor 110 . can do.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 차량 110: 센서
120: 통신 장치 130: 컨트롤러
140: 구동 장치 150: 메모리100: vehicle 110: sensor
120: communication device 130: controller
140: drive unit 150: memory

Claims (10)

차량 전방의 정지선을 검출하는 정지선 검출 방법에 있어서,
차량 전방에 대한 이미지를 획득하는 단계;
상기 차량 전방의 이미지 중 관심 영역에 포함된 직선들을 검출하는 단계;
상기 직선들 중 서로 평행한 두 직선들을 포함하는 직선 쌍을 선택하는 단계; 및
상기 직선 쌍에 포함된 두 직선들 사이의 거리에 기초하여 상기 정지선을 검출하는 단계를 포함하고,
상기 직선 쌍을 선택하는 단계는,
상기 검출된 직선들 각각의 각도를 계산하는 단계;
계산된 각도들에 기초하여 상기 직선들 중 상기 차량의 주행 방향과 일정한 각도 범위 내에 있는 타겟 직선들을 결정하는 단계; 및
상기 타겟 직선들 중에서 서로 평행한 두 개의 타겟 직선으로 구성되는 상기 직선 쌍을 선택하는 단계를 포함하고,
상기 정지선을 검출하는 단계는,
상기 직선 쌍에 포함된 두 직선들 사이의 거리를 계산하는 단계;
상기 두 직선들 사이의 거리가 상기 정지선의 기준 폭 이내일 때, 상기 직선 쌍에 포함된 두 직선들 사이의 이격 공간의 색상을 결정하는 단계; 및
상기 두 직선들 사이의 이격 공간의 색상과 상기 정지선의 색상인 기준 색상 사이의 색차가 기준 값 이내일 때, 상기 직선 쌍을 상기 정지선으로서 검출하는 단계를 포함하는,
정지선 검출 방법.A stop line detection method for detecting a stop line in front of a vehicle, the method comprising:
acquiring an image of the front of the vehicle;
detecting straight lines included in an ROI from among the images in front of the vehicle;
selecting a straight line pair including two parallel straight lines among the straight lines; and
detecting the stop line based on a distance between two straight lines included in the straight line pair;
The step of selecting the straight line pair comprises:
calculating an angle of each of the detected straight lines;
determining target straight lines within a predetermined angular range with the driving direction of the vehicle among the straight lines based on the calculated angles; and
Selecting the straight line pair consisting of two target straight lines parallel to each other from among the target straight lines,
The step of detecting the stop line,
calculating a distance between two straight lines included in the straight line pair;
when the distance between the two straight lines is within a reference width of the stop line, determining a color of a space between the two straight lines included in the straight line pair; and
Detecting the pair of straight lines as the stop line when the color difference between the color of the space between the two straight lines and the reference color that is the color of the stop line is within a reference value,
Stop line detection method. 제1항에 있어서, 상기 이미지를 획득하는 단계는,
상기 차량에 탑재된 카메라를 이용하여 상기 차량 전방을 촬영하고, 촬영 결과에 따라 상기 이미지를 획득하는 단계를 포함하는,
정지선 검출 방법.According to claim 1, wherein the step of obtaining the image,
Comprising the step of photographing the front of the vehicle using a camera mounted on the vehicle, and acquiring the image according to the photographing result,
Stop line detection method. 제1항에 있어서, 상기 직선들을 검출하는 단계는,
상기 차량 전방의 이미지에 대해서 왜곡 보정을 수행하여 왜곡이 보정된 이미지를 생성하는 단계; 및
생성된 왜곡이 보정된 이미지에 포함된 직선들을 검출하는 단계를 포함하는,
정지선 검출 방법.The method of claim 1, wherein the detecting of the straight lines comprises:
generating a distortion-corrected image by performing distortion correction on the image in front of the vehicle; and
Including the step of detecting straight lines included in the generated distortion-corrected image,
Stop line detection method. 제1항에 있어서, 상기 직선들을 검출하는 단계는,
상기 차량 전방의 이미지 중 관심 영역을 설정하는 단계; 및
상기 관심 영역에 포함된 직선들을 검출하는 단계를 포함하는,
정지선 검출 방법.The method of claim 1, wherein the detecting of the straight lines comprises:
setting a region of interest in the image in front of the vehicle; and
Including the step of detecting straight lines included in the region of interest,
Stop line detection method. 제4항에 있어서,
상기 관심 영역은 상기 차량이 위치한 차선 영역의 전방을 포함하는 영역인,
정지선 검출 방법.5. The method of claim 4,
The region of interest is a region including the front of the lane region in which the vehicle is located,
Stop line detection method. 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 정지선 검출 방법은,
검출된 정지선에 관련된 정보를 저장하는 단계를 더 포함하는,
정지선 검출 방법.According to claim 1, wherein the stop line detection method,
Further comprising the step of storing information related to the detected stop line,
Stop line detection method.
KR1020200161138A 2020-11-26 2020-11-26 Method of detecting stopline of vehicle KR102445635B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200161138A KR102445635B1 (en) 2020-11-26 2020-11-26 Method of detecting stopline of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161138A KR102445635B1 (en) 2020-11-26 2020-11-26 Method of detecting stopline of vehicle

Publications (2)

Publication Number Publication Date
KR20220108220A KR20220108220A (en) 2022-08-03
KR102445635B1 true KR102445635B1 (en) 2022-09-21

Family

ID=82847535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161138A KR102445635B1 (en) 2020-11-26 2020-11-26 Method of detecting stopline of vehicle

Country Status (1)

Country Link
KR (1) KR102445635B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066003A (en) * 2005-08-31 2007-03-15 Toyota Motor Corp Stop-line detection device
US20160026878A1 (en) * 2014-07-23 2016-01-28 GM Global Technology Operations LLC Algorithm to extend detecting range for avm stop line detection
KR101862994B1 (en) * 2017-05-26 2018-05-30 국방과학연구소 A method of Stop-line Detection for Autonomous Vehicles

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060061556A (en) * 2004-12-02 2006-06-08 현대자동차주식회사 Stop-line alarm method using image recognition
KR20170030815A (en) * 2015-09-10 2017-03-20 주식회사 만도 Controlling appratus and method for observing stop line for vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066003A (en) * 2005-08-31 2007-03-15 Toyota Motor Corp Stop-line detection device
US20160026878A1 (en) * 2014-07-23 2016-01-28 GM Global Technology Operations LLC Algorithm to extend detecting range for avm stop line detection
KR101862994B1 (en) * 2017-05-26 2018-05-30 국방과학연구소 A method of Stop-line Detection for Autonomous Vehicles

Also Published As

Publication number Publication date
KR20220108220A (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US10984655B2 (en) System and method for driving assistance along a path
KR102554643B1 (en) Multiple operating modes to expand dynamic range
US10737689B2 (en) Parking assistance apparatus and vehicle having the same
US9734425B2 (en) Environmental scene condition detection
US11680813B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
JP5316713B2 (en) Lane departure prevention support apparatus, lane departure prevention method, and storage medium
JP6174644B2 (en) Image processing device
US11727693B2 (en) Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
US11529967B2 (en) Driver assistance apparatus and method of thereof
KR20200090527A (en) Apparatus for recognizing lane and method thereof
CN110053627B (en) Driving evaluation system and storage medium
KR102445635B1 (en) Method of detecting stopline of vehicle
JP2017117105A (en) Visibility determination device
US20200271455A1 (en) Method and device for determining a highly precise position and for operating an automated vehicle
KR20210094475A (en) Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
JPWO2022162909A5 (en)
US12031834B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
US20210318126A1 (en) Driver assistance apparatus and method of thereof
JP2020513638A (en) Method and apparatus for evaluating an image and providing the evaluation to a vehicle drive assist system
US11417023B2 (en) Image processing device, image processing method, and program
KR20230071556A (en) Apparatus for controlling driving of vehicle and method thereof
KR20220122875A (en) Vehicle and control method thereof
KR20230123822A (en) Apparatus for detecting road markings and method thereof, and positioning system using the same
CN116901945A (en) Driver assistance system and driver assistance method
CN115205814A (en) Distance detection method, vehicle high beam control method, device, medium and vehicle

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)