KR20150112195A - Lane recognizing apparatus and method thereof - Google Patents

Lane recognizing apparatus and method thereof Download PDF

Info

Publication number
KR20150112195A
KR20150112195A KR1020140035802A KR20140035802A KR20150112195A KR 20150112195 A KR20150112195 A KR 20150112195A KR 1020140035802 A KR1020140035802 A KR 1020140035802A KR 20140035802 A KR20140035802 A KR 20140035802A KR 20150112195 A KR20150112195 A KR 20150112195A
Authority
KR
South Korea
Prior art keywords
image
lane
color
value
road
Prior art date
Application number
KR1020140035802A
Other languages
Korean (ko)
Other versions
KR102214321B1 (en
Inventor
최재형
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020140035802A priority Critical patent/KR102214321B1/en
Publication of KR20150112195A publication Critical patent/KR20150112195A/en
Application granted granted Critical
Publication of KR102214321B1 publication Critical patent/KR102214321B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an apparatus for recognizing lanes, which comprises: an image obtaining unit for obtaining a road image; and a lane recognition unit for generating a first image by emphasizing a first color in the road image, generating a second image by emphasizing a second color in the road image, and recognizing lanes by composing the first and second images. Accordingly, a recognition rate of lanes of yellow and blue colors which are complementary to each other can be improved, thereby effectively recognizing the lanes even in various road environments. In addition, the accuracy of lane recognition can be increased, thereby improving the performance of a lane deviation warning system.

Description

차선 인식 장치 및 그 방법 {Lane recognizing apparatus and method thereof}[0001] Lane recognizing apparatus and method [0002]

본 발명은 차선의 인식 정확도를 향상시키기 위한 차선 인식 장치 및 그 방법에 관한 것이다.The present invention relates to a lane recognition apparatus and a method for improving lane recognition accuracy.

지능형 차량이란 운전자가 차량을 직접 조작하지 않고 컴퓨터 등에 의해 주행, 정지, 회전, 가속 또는 감속 등의 운전 조작이 자동으로 이루어지는 차량을 의미한다.An intelligent vehicle means a vehicle in which a driver does not directly operate the vehicle but automatically performs driving operations such as running, stopping, rotating, accelerating or decelerating by a computer or the like.

이러한 지능형 차량의 주요 과제는 주행하는 차선의 유지, 인접차량과의 안전거리 확보, 근접 장애물의 검출과 충돌 회피, 교통상황이나 도로 환경에 따른 차량속도 제어 등이 있다.The main tasks of these intelligent vehicles are to maintain driving lanes, to establish safety distances to adjacent vehicles, to detect and avoid collision obstacles, and to control vehicle speed in response to traffic conditions and road conditions.

최근에는 정보통신 기술의 진전에 따라 차선 이탈 경고 시스템(LDWS : Lane Departure Warning System)이나 차선유지와 같은 안전운전 보조시스템, 차량 자동 제어시스템 등이 개발되어 실용화가 급속하게 진행되고 있다.Recently, according to progress of information and communication technology, a safe driving assist system such as a lane departure warning system (LDWS) or a lane keeping system, a vehicle automatic control system, and the like have been developed and are rapidly being put to practical use.

특히, 차선 인식은 지능형 차량에서 핵심기술의 하나로서, 국제적인 관심 속에 많은 연구가 활발히 진행되고 있다.In particular, lane recognition is one of the core technologies in intelligent vehicles, and many studies are actively pursued with international interest.

차선 인식은 안전 운전에 지대한 영향을 미치게 되므로, 차선의 위치를 추정하고 판단하기 위해 여러 가지 센서들을 활용한다. Since lane recognition has a great influence on safe driving, various sensors are used to estimate and determine the position of the lane.

즉, 이미지 센서, 레이더(Radar) 또는 라이더(Lidar) 센서 등 다양한 센서들은, 차선 인식이나 차량 전방의 물체 인식을 위해 단독 또는 융합된 형태로 지능형 차량 제어 시스템을 구현한다.That is, various sensors such as an image sensor, a radar, or a lidar sensor implement an intelligent vehicle control system in a single or fused form for lane recognition or object recognition in front of the vehicle.

이 중 이미지 센서를 이용한 차선 인식은 저렴한 비용으로 많은 정보를 할 수 있고, 기존의 다양한 비전 처리 알고리즘을 활용할 수 있어 널리 이용되고 있다.Among them, lane recognition using image sensor is widely used because it can make a lot of information at low cost and utilize various vision processing algorithms.

하지만 이미지 센서를 이용하여 차선을 인식하는 경우, 획득된 도로 영상을 그레이 스케일 이미지(Gray Scale Image)로 변환하고 변환된 그레이 스케일 이미지에서 에지(Edge)를 검출함으로써 차선을 인식하는 데, 이 때 레인 마커(lane marker)가 도로 면의 색상보다 더 어둡거나 도로 면과 밝기 차이가 없으면 차선 인식이 어려운 문제점이 있다.However, when the lane is recognized by using the image sensor, the lane is recognized by converting the obtained road image into a gray scale image and detecting an edge in the converted gray scale image, If the lane marker is darker than the color of the road surface or if there is no difference in brightness between the road surface and the lane marker, it is difficult to recognize the lane.

이에 따라 이미지 센서를 이용하여 차선 인식 시 차선 인식의 정확도가 낮은 문제점이 있다.Accordingly, there is a problem that the accuracy of the lane recognition is low when the lane recognition is performed using the image sensor.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 서로 다른 색상의 차선을 인식하는 차선 인식 장치 및 그 방법을 제공한다.In order to solve the above problems, an object of the present invention is to provide a lane recognition apparatus and method for recognizing lanes of different colors.

본 발명의 일 측면에 따른 차선 인식 장치는, 도로 영상을 획득하는 영상 획득부; 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고, 도로 영상에서 제2색상을 강조하여 제2영상을 생성하고, 제1영상과 제2영상을 합성하여 차선을 인식하는 차선 인식부를 포함한다.According to an aspect of the present invention, there is provided a lane recognition apparatus comprising: an image acquisition unit for acquiring a road image; A lane recognition unit for generating a first image by emphasizing a first color in a road image, generating a second image by emphasizing a second color in the road image, and synthesizing the first image and the second image to recognize a lane do.

제1색상은 블루 색상이고, 제2색상은 옐로우 색상이다.The first color is a blue color, and the second color is a yellow color.

차선 인식부는, 도로 영상을 일정 크기의 픽셀로 구분하고, 구분된 일정 크기의 픽셀들의 RGB 값을 확인하고, 픽셀별로 블루 색상의 값에서 레드 색상의 값을 차감하고, 차감된 값에서 미리 설정된 상수를 합산하여 제1영상을 1차적으로 생성한다.The lane recognition unit divides the road image into pixels of a predetermined size, identifies the RGB values of the pixels having the predetermined size, subtracts the red color value from the blue color value for each pixel, To generate a first image.

차선 인식부는, 제1영상을 필터링하고, 제1영상에서 필터링된 영상을 차감하여 제1영상을 2차적으로 생성한다.The lane recognizing unit generates a first image by filtering the first image and subtracting the filtered image from the first image.

차선 인식부는, 메디안 필터를 이용하여 제1영상을 필터링한다.The lane recognition unit filters the first image using a median filter.

차선 인식부는, 도로 영상을 일정 크기의 픽셀로 구분하고, 구분된 일정 크기의 픽셀들의 RGB 값을 확인하고, 픽셀별로 레드 색상의 값에서 그린 색상의 값을 차감하고, 차감된 값을 2로 나누어 제2영상을 생성한다.The lane recognition unit divides the road image into pixels of a predetermined size, checks the RGB values of the pixels having the predetermined size, subtracts the value of the green color from the value of the red color for each pixel, divides the subtracted value by 2 And generates a second image.

본 발명의 다른 측면에 따른 차선 인식 방법은, 도로의 도로 영상을 획득하고, 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고, 도로 영상에서 제2색상을 강조하여 제2영상을 생성하고, 제1영상과 제2영상을 합성하여 차선을 인식한다.According to another aspect of the present invention, there is provided a lane recognition method including: acquiring a road image of a road; generating a first image by emphasizing a first color in a road image; generating a second image by emphasizing a second color in the road image; And synthesizes the first image and the second image to recognize the lane.

제1색상은 블루 색상이고, 제2색상은 옐로우 색상이다.The first color is a blue color, and the second color is a yellow color.

제1영상을 생성하는 것은, 도로 영상의 각 픽셀에 대하여, 블루 색상의 값에서 레드 색상의 값을 차감하고, 차감된 값에서 미리 설정된 상수를 합산하여 제1영상을 1차적으로 생성하는 것을 포함한다.The first image is generated by firstly generating a first image by subtracting a red color value from a blue color value for each pixel of the road image and summing predetermined constants from the subtracted values do.

제1영상을 생성하는 것은, 제1영상을 필터링하고, 제1영상에서 필터링된 영상을 차감하여 제1영상을 2차적으로 생성하는 것을 더 포함한다.The generating the first image further includes generating a first image by filtering the first image and subtracting the filtered image from the first image.

제2영상을 생성하는 것은, 도로 영상의 각 픽셀에 대하여, 레드 색상의 값에서 그린 색상의 값을 차감하고, 차감된 값을 2로 나누어 제2영상을 생성하는 것을 포함한다.The generation of the second image includes generating a second image by subtracting the value of the green color from the value of red color for each pixel of the road image and dividing the subtracted value by 2.

본 발명에 따르면 서로 보색 관계에 있는 노란 색의 차선과 파란 색의 차선의 인식율을 향상시킬 수 있다.According to the present invention, it is possible to improve the recognition rate of the yellow lane and the blue lane in complementary colors.

즉, 차선의 색상은 흰색, 노란색, 파란색이 있는데 이 중 노란색과 파란색은 보색의 관계에 있고, 이 때문에 도로 영상에서 노란색을 강조하면 파란색의 차선이 어두워지고 반대로 파란색을 강조하면 노란색의 차선이 어두워지는 데, 본 발명은 각각의 색을 강조한 영상을 합성시킴으로써 도로 영상 내의 노란 색의 차선과 파란 색의 차선을 모두 용이하게 인식할 수 있다.In other words, the lane colors are white, yellow, and blue. Among them, yellow and blue are in relation to complementary colors. Therefore, when the yellow image is emphasized in the road image, the blue lane becomes dark. On the contrary, when the blue image is emphasized, The present invention can easily recognize both the lane of the yellow color and the lane of the blue color in the road image by synthesizing the images emphasizing the respective colors.

이로 인해 다양한 도로 환경에서도 차선을 효율적으로 차선을 인식할 수 있다.This makes it possible to recognize lanes efficiently in various road environments.

또한 차선 인식의 정확도를 높일 수 있으며 이로 인해 차선 이탈 경고 시스템의 성능을 향상시킬 수 있다.In addition, the accuracy of the lane recognition can be improved, which can improve the performance of the lane departure warning system.

도 1은 본 발명의 실시 예에 따른 차선 인식 장치를 가지는 차량의 구성도이다.
도 2는 본 발명의 실시 예에 따른 차선 인식 장치에서 획득된 도로 영상의 예시도이다.
도 3은 본 발명의 실시 예에 따른 차선 인식 방법의 순서도이다.
도 4는 본 발명의 실시 예에 따른 차선 인식 방법의 예시도이다.
도 5는 본 발명의 실시 예에 따른 차선 인식 방법의 필터링 예시도이다.
도 6은 본 발명의 실시 예에 따른 차선 인식 방법에서 차선 크기 설정 예시도이다.1 is a configuration diagram of a vehicle having a lane recognizing device according to an embodiment of the present invention.
2 is an exemplary view of a road image obtained by the lane recognizing apparatus according to the embodiment of the present invention.
3 is a flowchart of a lane recognition method according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a lane recognition method according to an embodiment of the present invention.
5 is a diagram illustrating an example of filtering of a lane recognition method according to an embodiment of the present invention.
6 is a diagram illustrating an example of lane size setting in the lane recognition method according to the embodiment of the present invention.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 차선 인식 장치(100)를 가지는 차량의 제어 구성도이다.1 is a control block diagram of a vehicle having a lane recognition apparatus 100 according to an embodiment of the present invention.

차선 인식 장치(100)는 차선(Lane) 인식을 위해 차선(Lane Marking)을 추출하는 과정에서, 서로 다른 색상의 차선을 모두 정확히 추출하고 그로 인해 올바른 차선 인식이 가능하게 하는 장치이다.The lane recognizing apparatus 100 extracts all lanes of different colors in a process of extracting lane markings for lane recognition, thereby enabling correct lane recognition.

이러한 차선 인식 장치(100)는 영상 획득부(110) 및 차선 인식부(120)를 포함한다.The lane recognizing apparatus 100 includes an image obtaining unit 110 and a lane recognizing unit 120.

영상 획득부(110)는 실시간으로 도로의 영상을 획득하고, 획득된 도로 영상을 신호 처리하여 차선 인식부(120)에 전송한다.The image obtaining unit 110 obtains an image of the road in real time, processes the obtained road image, and transmits the signal to the lane recognizing unit 120.

이러한 영상 획득부(110)는 도로의 영상을 획득하기 위해 차량의 전면 유리창 상부에 설치된 컬러 이미지 센서와, 도로 영상 신호를 신호 처리하는 비젼 컨트롤러 등을 포함한다. 여기서 이미지 센서는 전자 결합소자(CCD), CMOS 중 어느 하나를 포함한다.The image acquiring unit 110 includes a color image sensor installed on a front window of a vehicle to acquire an image of a road, and a vision controller for signal processing a road image signal. Here, the image sensor includes any one of an electronic coupling device (CCD) and a CMOS.

아울러 영상 획득부(110)는 차선 인식부(120)와 별도로 마련 가능하고, 이때 차선 인식부(120)는 영상 획득부(110)와 통신을 수행하고 영상 획득부(120)에서 획득된 도로 영상을 제공받는다.The lane recognition unit 120 may communicate with the image acquisition unit 110 and may acquire the road image obtained by the image acquisition unit 120. [ .

도 2에 도시된 바와 같이, 도로에는 동일 색상, 또는 서로 다른 색상의 차선이 마킹되어 있으며, 영상 획득부에 획득된 도로 영상은 자차가 위치하는 전방의 차로(R1)와, 전방의 차로(R1)를 중심으로 좌우의 갓길(또는 인도, R2) 또는 타 차로(R3)와, 갓길(또는 인도, R2) 또는 타 차로를 구분하기 위한 차선(LY, LB)을 포함한다.As shown in FIG. 2, lanes of the same color or different colors are marked on the roads, and the road images obtained in the image obtaining section include a lane R1 ahead in which the lane is located and a lane R1 (Or lead, R2) or another lane R3 and a lane LY or LB for distinguishing between the shoulder (or lead, R2) or another lane.

여기서 차선은 동일 색상 또는 서로 다른 색상일 수 있고, 화이트, 옐로우, 블루 중 적어도 하나의 색상일 수 있다.Here, the lane may be the same color or different colors, and may be at least one color of white, yellow, and blue.

차선 인식부(120)는 영상 획득부(110)에서 전송된 도로 영상을 영상 처리하여 차선을 인식한다.The lane recognition unit 120 processes the road image transmitted from the image acquisition unit 110 to recognize lanes.

즉 차선 인식부(120)는 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고, 도로 영상에서 제2색상을 강조하여 제2영상을 생성한 후 제1영상과 제2영상을 합성시키고 합성된 영상을 이용하여 차선을 인식하고 인식된 차선에 대한 정보를 제어부(140)에 전송한다.That is, the lane recognition unit 120 generates a first image by emphasizing a first color in a road image, generates a second image by emphasizing a second color in the road image, and then synthesizes the first image and the second image And recognizes the lane using the synthesized image and transmits information about the recognized lane to the control unit 140. [

여기서 제어부(140)는 차선 이탈 방지 제어를 위한 차선 이탈 경고 장치(미도시)의 제어부일 수 있다.Here, the control unit 140 may be a control unit of a lane departure warning device (not shown) for lane departure prevention control.

좀 더 구체적으로 차선 인식부(120)는 도로 영상의 각 픽셀에 대하여, 블루 색상의 값에서 레드 색상의 값을 차감하고, 차감된 값에서 미리 설정된 상수를 합산하여 제1영상을 1차적으로 생성한다.More specifically, the lane recognizing unit 120 subtracts the red color value from the blue color value for each pixel of the road image, and firstly generates a first image by summing predetermined constants from the subtracted values do.

차선 인식부(120)는 1차적으로 생성된 제1영상을 필터링하고, 1차적으로 생성된 제1영상에서 필터링된 영상을 차감하여 제1영상을 2차적으로 생성한다.The lane recognition unit 120 filters the first image generated first, and subtracts the filtered image from the first image generated first, thereby generating the first image.

이러한 차선 인식부(120)는 메디안 필터(median filter)를 포함하고, 메디안 필터를 이용하여 1차적으로 생성된 제1영상을 필터링한다.The lane recognizing unit 120 includes a median filter, and filters the first image generated primarily using the median filter.

차선 인식부(120)는 영상의 각 픽셀별로 레드 색상의 값에서 그린 색상의 값을 합산하고, 합산된 값을 2로 나누어 제2영상을 생성하고, 2차적으로 생성된 제1영상과 제2영상을 합성하여 서로 다른 색상의 차선이 강조된 도로 영상을 획득한다.The lane recognizing unit 120 adds a value of a green color to a red color value for each pixel of the image, divides the sum by 2, generates a second image, And synthesizes the images to obtain road images emphasizing lanes of different colors.

이러한 차선 인식부(120)는 자 차로를 포함하는 도로 영역 내의 차선 정보를 차선 이탈 경고 장치 등의 제어부(140)에 전송한다.The lane recognizing unit 120 transmits the lane information in the road area including the self lane road to the control unit 140 such as the lane departure warning apparatus.

차선 인식부(120)에서 차선 이탈 경고 장치에 차선 정보를 제공하는 예를 설명한다.An example in which lane recognition section 120 provides lane departure warning apparatus with lane information will be described.

여기서 차선 이탈 경고 장치(미도시)는 차선 인식부(120)에서 전송된 차선 정보에 기초하여 차선 이탈을 판단하고, 차선 이탈 시 운전자에게 차선 이탈 정보를 알려주거나 차선 이탈을 방지하는 제어를 수행한다.Here, the lane departure warning device (not shown) determines lane departure on the basis of the lane information transmitted from the lane recognizing section 120, and gives a lane departure information to the driver in lane departure or performs control to prevent lane departure .

좀 더 구체적으로, 차선 이탈 경고 장치는 입력부(130), 제어부(140), 표시부(150) 및 구동부(160)를 포함한다.More specifically, the lane departure warning device includes an input unit 130, a control unit 140, a display unit 150, and a driving unit 160.

입력부(130)는 차선 이탈 경고 장치의 온, 오프 명령을 입력받는다.The input unit 130 receives an on / off command of the lane departure warning device.

제어부(140)는 자 차량의 위치 및 진행 방향과 차선 인식부(120)에서 전송된 차선 정보에 기초하여 차선 이탈을 판단하고, 차선 이탈 시 차선 이탈 값을 검출하고 검출된 차선 이탈 값에 기초하여 표시부(150) 및 구동부(160)의 구동을 제어함으로써 운전자에게 차선 이탈이 인식되도록 하고, 스티어링 제어가 수행되도록 한다.The control unit 140 determines the lane departure based on the position and the traveling direction of the vehicle and the lane information transmitted from the lane recognizing unit 120. The control unit 140 detects the lane departure value when the lane departure is made and based on the detected lane departure value By controlling the driving of the display unit 150 and the driving unit 160, the lane departure is recognized by the driver, and the steering control is performed.

여기서 자 차량의 위치 및 진행 방향은 영상 획득부(110)로부터 전송된 영상에 기초하여 획득 가능하다.Here, the position and the traveling direction of the vehicle are obtainable based on the image transmitted from the image obtaining unit 110. [

표시부(150)는 LED, LCD 등으로, 차선 이탈 시 제어부(140)의 제어 명령에 따라 표시등을 점등시키거나 문자를 표시한다.The display unit 150 may be an LED, an LCD, or the like, and may illuminate or display characters in accordance with a control command of the control unit 140 when leaving the lane.

차선 이탈 경고 장치는 사운드부(미도시)를 더 포함하고, 사운드부는 알람 등으로 차선 이탈 정보를 출력하는 것도 가능하다.The lane departure warning apparatus may further include a sound section (not shown), and the sound section may output lane departure information by an alarm or the like.

구동부(160)는 차선 이탈 시 제어부(140)로부터 스티어링 제어에 관한 제어 명령을 수신하하여 스티어링 장치를 구동시킨다.The driving unit 160 receives a control command related to the steering control from the control unit 140 when the lane departure occurs, and drives the steering apparatus.

여기서 스티어링 장치는 도로에 관한 처리 데이터를 입력받아서 차량의 스티어링 제어를 처리한다.Here, the steering apparatus receives the processing data relating to the road and processes the steering control of the vehicle.

도 3은 본 발명의 실시 예에 따른 차선 인식 방법의 순서도이다. 3 is a flowchart of a lane recognition method according to an embodiment of the present invention.

차선 인식 장치(100)는 차선 이탈 경고 장치 등의 동작 명령이 입력되면 영상 획득부 및 차선 인식부를 활성화시킨다. The lane recognizing apparatus 100 activates the image acquiring unit and the lane recognizing unit when an operation command such as a lane departure warning apparatus is input.

차선 인식 장치(100)는 영상 획득부(110)를 통해 실시간으로 도로의 영상을 획득(201)하고, 획득된 도로 영상을 신호 처리한다.The lane recognizing apparatus 100 acquires an image of a road 201 in real time through the image obtaining unit 110, and processes the obtained road image.

다음 차선 인식 장치(100)는 도로 영상에서 제1색상인 블루 색상을 강조하여 제1영상을 생성(202)하고, 도로 영상에서 제2영상인 옐로우 색상을 강조하여 제2영상을 생성(203)한다. 이를 도 4를 참조하여 설명한다.The next lane recognizing device 100 generates a first image 202 by emphasizing a first color, a blue color, from a road image, and generates a second image 203 by emphasizing a second color, i.e., a yellow color, do. This will be described with reference to FIG.

도 4의 (a) 도시된 바와 같이, 차선 인식 장치(100)는 영상의 소실점 아래, 즉 지면에 해당되는 도로 영역을 관심영역으로 하여 차선 인식을 수행한다.4 (a), the lane recognizing device 100 performs lane recognition on the road area corresponding to the ground, that is, under the vanishing point of the image, as the area of interest.

다음 도 4의 (b: b1)에 도시된 바와 같이, 각 픽셀에서 블루 색상의 값에서 레드 색상의 값을 차감하고, 차감된 값에서 미리 설정된 상수를 합산하여 제1영상을 1차적으로 생성한다.Next, as shown in (b: b1) of FIG. 4, the first image is primarily generated by subtracting the value of the red color from the value of the blue color in each pixel, and summing predetermined constants in the subtracted value .

블루 색상의 차선은 주변의 차로에 비해 RGB 중 B 값이 크고 R 값이 작기 때문에, 블루 색상의 값에서 레드 색상의 값을 차감하면 도로 영상에서 차로보다 차선을 더 강조할 수 있다.Since the blue color lane has a larger B value and a smaller R value than the surrounding lane, the lane can be more emphasized than the lane in the road image by subtracting the red color value from the blue color value.

이에 따라 각 픽셀에서 블루 색상의 값에서 레드 색상의 값을 차감하는 것이다.Thereby subtracting the red color value from the blue color value at each pixel.

아울러, 차선 인식 장치는 제1영상을 메디안 필터링하기 전에 블루 색상의 값에서 레드 색상의 값을 차감한 값에 미리 설정된 상수를 합산하고 0보다 작은 값은 0으로 저장한다. 메디안 필터링을 하는 값들이 0보다 크거나 같아야 하기 때문이다.In addition, the lane recognition apparatus adds a predetermined constant to a value obtained by subtracting the value of red color from a value of blue color before median filtering the first image, and stores a value less than 0 as 0. This is because the median filtering values must be greater than or equal to zero.

예를 들어, 영상에서 블루 색상의 차선 위의 픽셀(도 2의 a1 참조)에 대한 RGB 값은 R: 141, G: 142, B: 138이고, 차로 위의 픽셀(도 2의 a2 참조)에 대한 RGB 값은 R: 136, G: 128, B: 110로, 블루 색상의 값에서 레드 색상의 값을 차감한 값이 차선, 차로 모두 음수가 될 수 있다.For example, the RGB values for the pixels (see a1 in Fig. 2) on the lane of blue color in the image are R: 141, G: 142, B: 138, RGB values are R: 136, G: 128, and B: 110, and the value obtained by subtracting the value of red color from the value of blue color can be negative in both lane and side.

이에 따라 차선 인식 장치는 차감한 값에 미리 설정된 상수를 합산한다.Thus, the lane recognizing device adds the predetermined constants to the subtracted values.

다음 도 4의 (b: b2)에 도시된 바와 같이, 차선 인식 장치(100)는 1차적으로 생성된 제1영상을 필터링한다.Next, as shown in (b: b2) of FIG. 4, the lane recognizing apparatus 100 filters the first image generated primarily.

여기서 1차적으로 생성된 제1영상 필터링 시 메디안 필터(median filter)를 이용하여 필터링한다. 이를 도 5를 참조하여 설명한다.Here, the first image filtering is performed using a median filter. This will be described with reference to FIG.

도 5에 도시된 바와 같이 각 픽셀에 대하여 각 픽셀을 중심 픽셀로 할 때, 중심 픽셀과 그 주변을 그룹화하고, 그룹별로 메디안 필터링을 수행한다.As shown in FIG. 5, when each pixel is a center pixel for each pixel, the center pixel and its periphery are grouped, and median filtering is performed for each group.

그룹을 이루는 각 픽셀의 픽셀 값을 오름차순 또는 내림차순으로 정렬하고, 정렬된 픽셀 값 중 중간 값을 확인하고, 중심 픽셀 값을 중간 값으로 변환한다. Aligns the pixel values of each pixel constituting the group in ascending or descending order, identifies the middle value among the sorted pixel values, and converts the center pixel value to an intermediate value.

즉 메디안 필터(Median filter)는 중심 픽셀과 그 주변의 픽셀들 중 빈번하게 발생하는 픽셀 값을 찾고 이 값으로 중심 픽셀을 대체하는 것이다. In other words, a median filter finds a frequently occurring pixel value among the center pixel and surrounding pixels, and substitutes the center pixel with this value.

이와 같이, 필터링을 수행함으로써 도로 영상 중 차로 영상에서 주변 노면의 값과 차이가 큰 값들을 제거할 수 있다. 즉, 도로 영상에서 차선을 지울 수 있다.In this manner, by performing the filtering, it is possible to remove the values having a large difference from the value of the surrounding road surface in the road image among the road images. That is, the lane can be erased from the road image.

도 6의 (a)에 도시된 바와 같이 필터는 좁고 긴 형태의 차선 특성을 이용하여 가로 방향만을 고려하며 필터의 크기(N)는 영상의 세로 인덱스에 따라 달라진다.As shown in FIG. 6 (a), the filter takes into consideration only the horizontal direction using the narrow and long lane characteristic, and the size N of the filter varies according to the vertical index of the image.

필터의 크기는 이중 차선의 폭보다 2배 이상 큰 값을 갖도록 한다.The size of the filter should be at least twice the width of the double lane.

즉, 필터 크기: N > 2*이중차선 폭That is, filter size: N> 2 * double lane width

도 6의 (b)에 세로 인덱스에 따른 필터의 크기가 도시되어 있다.The size of the filter according to the vertical index is shown in Fig. 6 (b).

다음 도 4의 (b: b3)에 도시된 바와 같이, 1차적으로 생성된 제1영상에서 필터링된 영상을 차감하여 제1영상을 2차적으로 생성한다.As shown in (b: b3) of FIG. 4, the first image is generated by subtracting the filtered image from the first generated image.

여기서 1차적으로 생성된 제1영상에서 필터링된 영상을 차감하는 것은, 동일 위치의 픽셀 별로 픽셀 값을 차감하는 것을 의미한다.Here, subtracting the filtered image from the first image generated firstly means subtracting the pixel value for each pixel at the same position.

따라서 파란색 강조영상과 이를 메디안 필터로 통과시킨 영상의 차이는 주변보다 강한 값을 가지는 파란 차선만을 강조한 영상이 된다. Therefore, the difference between the blue highlight image and the image passed through the median filter is the image emphasizing only the blue lane having stronger value than the surroundings.

본 실시 예에서는 메디안 필터(median filter)를 이용하였지만 동일한 효과를 내는 다른 필터를 이용하는 것도 가능하다. Although a median filter is used in this embodiment, it is also possible to use another filter having the same effect.

다음 도 4의 (c)에 도시된 바와 같이, 차선 인식 장치는 도로 영상의 각 픽셀에 대하여, 레드 색상의 값에서 그린 색상의 값을 합산(R+G)하고, 합산된 값을 2로 나누어((R+G)/2) 제2영상을 생성한다.As shown in (c) of FIG. 4, the lane recognizing device adds (R + G) the value of the green color to the red color value for each pixel of the road image and divides the summed value by 2 ((R + G) / 2) second image.

다음 도 4의 (d)에 도시된 바와 같이, 2차로 생성된 제1영상(도 4의 b3)과, 제2영상(도 4의 c)의 영상을 합성(204)하여 서로 다른 색상의 차선이 강조된 도로 영상을 획득한다.As shown in (d) of FIG. 4, the first image (b3 in FIG. 4) and the second image (FIG. 4 (c) This emphasized road image is acquired.

여기서 두 영상을 합성하는 것은 동일 위치의 픽셀 별로 픽셀 값을 합산하는 것을 의미한다.Here, combining two images means that pixel values are summed for each pixel at the same position.

이와 같이, 서로 보색 관계에 있는 노란 색의 차선과 파란 색의 차선의 인식 시, 노란 색상을 강조한 영상과 파란 색상을 강조한 영상을 서로 합성함으로써 노란 색상의 차선 및 파란 색상의 차선을 모두 명확하게 인식할 수 있다.In this way, when recognizing yellow lanes and blue lanes having complementary colors, the image of the yellow color emphasized image and the image emphasizing the blue color are synthesized with each other, thereby clearly recognizing all the lanes of the yellow color lane and the blue color lane can do.

즉, 차선의 색상은 흰색, 노란색, 파란색이 있는데 이 중 노란색과 파란색은 보색의 관계에 있고, 이 때문에 도로 영상에서 노란색을 강조하면 파란색의 차선이 어두워지고 반대로 파란색을 강조하면 노란색의 차선이 어두워질 수 있기 때문에, 각각의 색상을 강조한 영상을 합성하는 것이다. 이로 인해 다양한 도로 환경에서도 차선을 효율적으로 차선을 인식할 수 있다.In other words, the lane colors are white, yellow, and blue. Among them, yellow and blue are in relation to complementary colors. Therefore, when the yellow image is emphasized in the road image, the blue lane becomes dark. On the contrary, when the blue image is emphasized, It is possible to synthesize the images emphasizing each color. This makes it possible to recognize lanes efficiently in various road environments.

또한 차선 인식의 정확도를 높일 수 있으며 이로 인해 차선 이탈 경고 시스템의 성능을 향상시킬 수 있다.In addition, the accuracy of the lane recognition can be improved, which can improve the performance of the lane departure warning system.

다음 차선 인식 장치는 서로 다른 색상의 차선이 강조된 도로 영상을 차선 이탈 방지 제어를 위한 차선 이탈 경고 장치(미도시) 등으로 전송한다.The next lane recognizing device transmits a road image emphasizing lanes of different colors to a lane departure warning device (not shown) for lane departure avoidance control.

다음 차선 이탈 경고 장치는, 전송된 서로 다른 색상의 차선이 강조된 도로 영상에 기초하여 차선 이탈 여부를 판단하고, 차선 이탈로 판단되면 표시부(150) 등을 통해 경보를 발생시킨다. The next lane departure warning device judges whether or not the lane departure is based on the road image emphasizing the transferred lanes of different colors, and generates an alarm through the display unit 150 or the like when it is determined that the lane departure occurs.

아울러 블루 색상의 차선과 다른 색상의 차선(예를 들어 화이트 또는 옐로우 색상의 차선)이 도로에 마킹된 경우, 차선 인식 장치는 도로 영상을 획득한 후 획득된 영상에 블루 색상의 차선이 존재하는지 판단한 후 블루 색상이 강조된 제1영상과 다른 색상이 강조된 제2영상을 각각 생성하는 것도 가능하다. If the lane recognition device determines that there is a lane of blue color in the image obtained after acquiring the road image, the lane recognition device may determine that the lane It is also possible to generate a first image in which a blue color is emphasized and a second image in which a different color is emphasized.

100 : 차선 인식 장치 110: 영상획득부
120: 차선 인식부 130: 입력부
140: 제어부 150: 표시부
160: 구동부 R1: 자 차로
R2: 갓길(또는 인도) R3: 타 차로
LY: 옐로우 차선 LB: 블루 차선 100: lane recognizing device 110:
120: lane recognition unit 130: input unit
140: control unit 150: display unit
160: Driving part R1:
R2: Shoulder (or lead) R3: Other car
LY: Yellow lane LB: Blue lane

Claims (11)

도로 영상을 획득하는 영상 획득부;
상기 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고, 상기 도로 영상에서 제2색상을 강조하여 제2영상을 생성하고, 상기 제1영상과 제2영상을 합성하여 차선을 인식하는 차선 인식부를 포함하는 차선 인식 장치. An image obtaining unit for obtaining a road image;
A second image is generated by emphasizing a second color in the road image, a lane for recognizing a lane by synthesizing the first image and the second image, A lane recognition apparatus comprising a recognition section. 제 1 항에 있어서,
상기 제1색상은 블루 색상이고, 상기 제2색상은 옐로우 색상인 차선 인식 장치.The method according to claim 1,
Wherein the first color is a blue color and the second color is a yellow color. 제 2 항에 있어서, 상기 차선 인식부는,
상기 도로 영상의 각 픽셀들에 대하여 RGB값을 확인하고 블루 색상의 값에서 레드 색상의 값을 차감하고, 상기 차감된 값에서 미리 설정된 상수를 합산하여 상기 제1영상을 1차적으로 생성하는 차선 인식 장치. 3. The mobile communication system according to claim 2,
A lane recognizing unit for recognizing an RGB value of each pixel of the road image, subtracting a red color value from a blue color value, and adding a predetermined constant to the subtracted value to generate the first image Device. 제 3 항에 있어서, 상기 차선 인식부는,
상기 제1영상을 필터링하고, 상기 제1영상에서 상기 필터링된 영상을 차감하여 상기 제1영상을 2차적으로 생성하는 차선 인식 장치.4. The system of claim 3,
Wherein the second image is generated by filtering the first image and subtracting the filtered image from the first image. 제 4 항에 있어서, 상기 차선 인식부는,
메디안 필터를 이용하여 상기 제1영상을 필터링하는 차선 인식 장치.5. The system according to claim 4,
And filters the first image using a median filter. 제 2 항에 있어서, 상기 차선 인식부는,
상기 도로 영상의 각 픽셀들에 대하여 RGB값을 확인하고 레드 색상의 값에서 그린 색상의 값을 차감하고, 상기 차감된 값을 2로 나누어 상기 제2영상을 생성하는 차선 인식 장치. 3. The mobile communication system according to claim 2,
Wherein the second image is generated by checking RGB values for each pixel of the road image, subtracting a value of a green color from a red color value, and dividing the subtracted value by 2. 도로의 도로 영상을 획득하고,
상기 도로 영상에서 제1색상을 강조하여 제1영상을 생성하고,
상기 도로 영상에서 제2색상을 강조하여 제2영상을 생성하고,
상기 제1영상과 제2영상을 합성하여 차선을 인식하는 차선 인식 방법. The road image of the road is acquired,
Generating a first image by emphasizing a first color in the road image,
Generating a second image by emphasizing a second color in the road image,
Wherein the lane recognition unit recognizes a lane by combining the first image and the second image. 제 7 항에 있어서,
상기 제1색상은 블루 색상이고, 상기 제2색상은 옐로우 색상인 차선 인식 방법.8. The method of claim 7,
Wherein the first color is a blue color and the second color is a yellow color. 제 8 항에 있어서, 상기 제1영상을 생성하는 것은,
상기 도로 영상의 각 픽셀들에 대하여 RGB값을 확인하고,
상기 각 픽셀에서 블루 색상의 값에서 레드 색상의 값을 차감하고,
상기 차감된 값에서 미리 설정된 상수를 합산하여 상기 제1영상을 1차적으로 생성하는 것을 포함하는 차선 인식 방법.9. The method of claim 8, wherein generating the first image comprises:
Checking RGB values for each pixel of the road image,
Subtracting the value of the red color from the value of the blue color in each pixel,
And adding the preset constants to the subtracted values to generate the first image. 제 9 항에 있어서, 상기 제1영상을 생성하는 것은,
상기 제1영상을 필터링하고,
상기 제1영상에서 상기 필터링된 영상을 차감하여 상기 제1영상을 2차적으로 생성하는 것을 더 포함하는 차선 인식 방법. 10. The method of claim 9, wherein generating the first image comprises:
Filtering the first image,
Further comprising generating the first image by subtracting the filtered image from the first image. 제 8 항에 있어서, 상기 제2영상을 생성하는 것은,
상기 도로 영상의 각 픽셀들에 대하여 RGB값을 확인하고,
상기 각 픽셀에서 레드 색상의 값에서 그린 색상의 값을 차감하고,
상기 차감된 값을 2로 나누어 상기 제2영상을 생성하는 것을 포함하는 차선 인식 방법. 9. The method of claim 8, wherein generating the second image comprises:
Checking RGB values for each pixel of the road image,
Subtracts the value of the green color from the value of the red color in each of the pixels,
And dividing the subtracted value by 2 to generate the second image.
KR1020140035802A 2014-03-27 2014-03-27 Lane recognizing apparatus and method thereof KR102214321B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140035802A KR102214321B1 (en) 2014-03-27 2014-03-27 Lane recognizing apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140035802A KR102214321B1 (en) 2014-03-27 2014-03-27 Lane recognizing apparatus and method thereof

Publications (2)

Publication Number Publication Date
KR20150112195A true KR20150112195A (en) 2015-10-07
KR102214321B1 KR102214321B1 (en) 2021-02-09

Family

ID=54343490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140035802A KR102214321B1 (en) 2014-03-27 2014-03-27 Lane recognizing apparatus and method thereof

Country Status (1)

Country Link
KR (1) KR102214321B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101851682B1 (en) * 2017-11-17 2018-04-24 주식회사 사라다 Apparatus and method for providing parking congestion information through analysis of adjacent road images
US10521676B2 (en) 2017-01-11 2019-12-31 Foundation Of Soongsil University Industry Cooperation Lane detection device, lane departure determination device, lane detection method and lane departure determination method
KR102192844B1 (en) * 2019-08-21 2020-12-18 주식회사 만도 Color image enhancement device for lane detection and method thereof
KR20220143323A (en) 2021-04-16 2022-10-25 주식회사 에이치엘클레무브 METHOD AND APPARATUS FOR generating training data of deep learning model for lane classification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010069601A (en) * 2001-04-20 2001-07-25 신천우 The its Method and System for Lane departure warning using color data processing
KR20050119874A (en) * 2004-06-17 2005-12-22 현대자동차주식회사 An image pre-processing apparatus of a traffic lane departure warning system and method thereof
KR101362595B1 (en) * 2012-09-28 2014-02-13 주식회사 만도 Method and system for lane detection
KR20140022197A (en) * 2012-08-13 2014-02-24 주식회사 만도 Lane detection method and lane departure warning system using same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010069601A (en) * 2001-04-20 2001-07-25 신천우 The its Method and System for Lane departure warning using color data processing
KR20050119874A (en) * 2004-06-17 2005-12-22 현대자동차주식회사 An image pre-processing apparatus of a traffic lane departure warning system and method thereof
KR20140022197A (en) * 2012-08-13 2014-02-24 주식회사 만도 Lane detection method and lane departure warning system using same
KR101362595B1 (en) * 2012-09-28 2014-02-13 주식회사 만도 Method and system for lane detection

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521676B2 (en) 2017-01-11 2019-12-31 Foundation Of Soongsil University Industry Cooperation Lane detection device, lane departure determination device, lane detection method and lane departure determination method
KR101851682B1 (en) * 2017-11-17 2018-04-24 주식회사 사라다 Apparatus and method for providing parking congestion information through analysis of adjacent road images
KR102192844B1 (en) * 2019-08-21 2020-12-18 주식회사 만도 Color image enhancement device for lane detection and method thereof
KR20220143323A (en) 2021-04-16 2022-10-25 주식회사 에이치엘클레무브 METHOD AND APPARATUS FOR generating training data of deep learning model for lane classification

Also Published As

Publication number Publication date
KR102214321B1 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
US10810877B2 (en) Vehicle control device
JP5966965B2 (en) Lane boundary departure control device and lane boundary departure suppression method
EP1909230B1 (en) Vehicle and lane mark recognition apparatus
JP5399027B2 (en) A device having a system capable of capturing a stereoscopic image to assist driving of an automobile
US9257045B2 (en) Method for detecting a traffic lane by means of a camera
US9436878B2 (en) Lane mark recognition device
KR102277018B1 (en) Method and apparatus for vehicle driving assistance
US9349070B2 (en) Vehicle external environment recognition device
CN106295494B (en) Vehicle exterior environment recognition device
CN107757479A (en) A kind of drive assist system and method based on augmented reality Display Technique
JP6354659B2 (en) Driving support device
US20110157184A1 (en) Image data visualization
JP2010257282A (en) Obstacle detection device and vehicle with the device mounted thereon
KR102214321B1 (en) Lane recognizing apparatus and method thereof
KR20180082089A (en) Method for Detecting Border of Grassland Using Image-Based Color Information
KR20110111668A (en) Lane recognition apparatus and method of recognition lane thereof
CN110053625B (en) Distance calculation device and vehicle control device
JP6240475B2 (en) Outside environment recognition device
KR20140087622A (en) Method of extracting traffic lanes from captured image using brightness
JP4324179B2 (en) Information provision device
US11608071B2 (en) Vehicle control device
KR101651061B1 (en) Method and device for lane detection
KR20150092974A (en) Recognizing apparatus and method of lane changing vehicles through recognizing surroundings lane
KR20150111611A (en) Apparatus and method for detecting vehicle candidate
JP6273156B2 (en) Pedestrian recognition device

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant