KR20010096265A - Method for lane sencing of vehicle - Google Patents

Method for lane sencing of vehicle Download PDF

Info

Publication number
KR20010096265A
KR20010096265A KR1020000020290A KR20000020290A KR20010096265A KR 20010096265 A KR20010096265 A KR 20010096265A KR 1020000020290 A KR1020000020290 A KR 1020000020290A KR 20000020290 A KR20000020290 A KR 20000020290A KR 20010096265 A KR20010096265 A KR 20010096265A
Authority
KR
South Korea
Prior art keywords
lane
traffic lane
road
edge
gray level
Prior art date
Application number
KR1020000020290A
Other languages
Korean (ko)
Other versions
KR100354022B1 (en
Inventor
이동민
Original Assignee
이계안
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이계안, 현대자동차주식회사 filed Critical 이계안
Priority to KR1020000020290A priority Critical patent/KR100354022B1/en
Publication of KR20010096265A publication Critical patent/KR20010096265A/en
Application granted granted Critical
Publication of KR100354022B1 publication Critical patent/KR100354022B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A traffic lane detecting method is provided to improve traffic lane detecting performance by detecting a yellow traffic lane left to a first lane of a road. CONSTITUTION: A traffic lane is detected by the following steps. Firstly, image signals of a traffic lane are inputted from a camera(201). An edge is sampled by applying a mask and a limitation to the input image signals(202). If the traffic lane sampled in the edge sampling step, a search region for a new traffic lane is set up(203). Traffic lane edge lists are recorded by separating the edge points of an object matched with the width of a traffic lane(204). For removing noises and unnecessary edges, application limit is adjusted(205). Correlated edge points are grouped, and the groups non-related with the width of a traffic lane are removed(206). For sampling a travel lane, outer groups except innermost groups having a simple equation are removed(207). A polynomial expression is sampled by grouping the remaining edge points into one group(208). If the sampled traffic lane equation is appropriate, a road is modeled(209). Using the sampled traffic lane equation, displacement of a vehicle out of the traffic lane is decided(210). Then, if the vehicle is out of the traffic lane, an alarm is issued. If a traffic lane is not detected in the modeling step, existence of the leftmost traffic lane is decided(211). If the leftmost traffic lane is not detected, the pictured road and the traffic lane gray level are differentiated and a leftmost traffic lane is detected by inverting the gray level to the differentiated road and the leftmost traffic lane(212). According to the procedure, traffic lane detecting performance is improved.

Description

차량의 차선 인식 방법{METHOD FOR LANE SENCING OF VEHICLE}Lane detection of vehicle {METHOD FOR LANE SENCING OF VEHICLE}

본 발명은 차량의 차선 인식 방법에 관한 것으로, 보다 상세하게는 차량이 차선 이탈 여부를 감지하면서 도로 주행 중 콘크리트 도로에 그어져 있는 황색선을 인식할 수 있도록 한 차량의 차선 인식 방법에 관한 것이다.The present invention relates to a method for recognizing a lane of a vehicle. More particularly, the present invention relates to a method for recognizing a lane of a vehicle to detect a yellow line drawn on a concrete road while driving a road while detecting whether the vehicle is out of a lane.

종래에 차선 인식 여부를 감지하면서 도로를 주행하는 차량의 차선 인식 장치는 차선을 인식 판단하기 위하여 이진화 할 때 동일한 필터를 사용하여 판단하도록 되어 있다.Conventionally, a lane detecting apparatus for a vehicle driving on a road while detecting whether a lane is recognized is determined by using the same filter when binarizing to recognize and recognize a lane.

즉 카메라로 촬영되어 입력되는 영상 신호(이진화 신호)에 대하여 어두운 그레이(GRAY)값(아스팔트 도로)에서 밝은 그레이(GRAY)값(차선)으로 변하는 부분의 경계를 찾는 것으로 차선을 인식하게 된다.In other words, the lane is recognized by finding a boundary of a portion in which a dark gray value (asphalt road) is changed from a dark gray value (asphalt road) to a light gray value (lane) with respect to an image signal (binarization signal) captured by the camera.

그러나 상기 차선 인식 장치는 도로 주행시 차선 인식하는데 있어 아스팔트 도로의 경우에는 어두운 그레이값과 밝은 그레이값으로 변하는 부분이 구별이 되어 별 문제가 없으나, 콘크리트 도로의 경우 도로의 중앙선을 표시하는 황색 차선 경우 문제점을 가지게 되었다.However, the lane recognizing apparatus recognizes lanes when driving on the road. As for the asphalt road, the dark gray value and the light gray value are distinguished from each other. However, in the case of the concrete road, the yellow lane marking the center line of the road has no problem. Had

물론 차선을 인식하는 장치의 카메라가 칼러인 경우에는 색상에 의한 그레이값이 구별되어 별 문제가 되지 않는다.Of course, when the camera of the apparatus for recognizing a lane is a color, the gray values due to the colors are distinguished, which is not a problem.

그러나 대부분의 차선 인식 장치의 카메라는 경제적인 문제점을 감안하여 주로 흑백 카메라를 사용하는 관계로 도로 차선 촬영시 이진화 되어 필터를 통해서 입력되는 값이 어두운 그레이값과 밝은 그레이값과의 차이가 없어 도로와 차선의 경계를 구별하지 못하게 된다.However, most lane-recognizing camera cameras are mainly black and white cameras in consideration of economic problems, so they are binarized when taking road lanes, so the value input through the filter does not differ between the dark and light gray values. You will not be able to distinguish lane boundaries.

그러므로 콘크리트 도로 주행시에는 상기 차선 인식 장치가 재기능을 발휘하지 못하게 되게 된다.Therefore, when driving on the concrete road, the lane recognizing apparatus may not function again.

이와 같이 종래의 차선 인식 장치는 아스팔트 도로 주행시에는 도로와 차선간에 경계를 용이하게 구별하게 되지만, 콘크리트 도로의 경우에는 황색선을 도로와 구별하지 못하게 되므로, 상기 황색선이 주로 도로의 1차선 좌측에 그어지게 되는 것을 감안하여 볼 때 상기 차선 인식 장치의 인식 능력 저하 및 신뢰성에 문제점을 가지게 되었다.As described above, the conventional lane recognizing apparatus easily distinguishes a boundary between a road and a lane when driving an asphalt road, but in the case of a concrete road, the yellow line cannot be distinguished from the road. In consideration of being drawn, there is a problem in deterioration of recognition capability and reliability of the lane recognizing apparatus.

따라서 본 발명의 목적은 주행 중 차선을 인식하여 차선 이탈 유무를 판단하면서 주행 시 콘크리트 도로를 주행할 경우 콘크리트 도로의 1차선 좌측에 그어져있는 황색선을 감지할 수 있도록 하여 차선 인식 능력을 향상시키고자 하는데 있다.Accordingly, an object of the present invention is to improve lane recognition ability by detecting a yellow line drawn on the left side of one lane of a concrete road when driving a concrete road while driving while determining a lane departure by recognizing a lane while driving. It is.

도 1은 본 발명에 이용되는 차선 인식 장치의 개략적인 제어 블럭도.1 is a schematic control block diagram of a lane recognizing apparatus used in the present invention.

도 2는 본 발명 차선 인식 방법에 대한 플로우챠트.Figure 2 is a flow chart for the lane detection method of the present invention.

도 3a는 본 발명 차선 인식 방법에 구체적인 아스팔트 도로.Figure 3a is a concrete asphalt road in the lane recognition method of the present invention.

도 3b는 본 발명 차선 인식 방법에 구체적인 콘크리트 도로.3b is a concrete road to the lane recognition method of the present invention.

상기의 목적을 실현하기 위하여 본 발명은 도로 주행 중에 차선을 이진화 그레이 신호 변화로 인식하는 차선 인식 방법에 있어서, 주행 중 인식하게 되는 차선에서 차선이 모델링 되는가를 판단하여 차선이 모델링 되지 않는 경우 최종 좌측 차선이 인식되었는가를 판단하는 단계와; 상기 단계에서 최종 좌측 차선이 인식되지 않았으면 도로 배경색과 차선과의 그레이 레벨을 미분 필터로 미분하고 이 미분 값으로 콘크리트 도로인가를 판단하여 콘크리트 도로인 경우 그레이 레벨을 반전하여 차선을 인식하도록 한 것을 특징으로 한다.In order to realize the above object, the present invention provides a lane recognition method for recognizing a lane as a change in a binarized gray signal while driving on a road. Determining whether a lane has been recognized; If the final left lane is not recognized in this step, the gray level between the road background color and the lane is differentiated by the differential filter, and it is determined whether the road is a concrete road by this differential value. It features.

그러므로 본 발명에 의하면, 도로의 차선을 인식하여 차선 이탈 유무를 판단하면서 주행 중 촬영된 도로 및 차선 영상 신호의 그레이 레벨 신호를 미분 필터로 미분하여 콘크리트 도로인가를 판단하여 콘크리트 도로인 경우 도로 및 차선의 그레이 레벨을 반전하여 인식하도록 함으로써, 차선 인식에 능력 및 신뢰성을 향상하게 되는 것이다.Therefore, according to the present invention, the road lanes and lanes are determined by determining whether the road is a concrete road by differentiating the gray level signals of the road and the lane image signals photographed while driving while determining whether there is a lane departure by recognizing the lane of the road. By reversing and recognizing the gray level of, it is possible to improve the capability and reliability in lane recognition.

이하 본 발명의 바람직한 실시예를 첨부되는 도면에 의거 상세히 설명하면 다음과 같다.Hereinafter, described in detail with reference to the accompanying drawings, preferred embodiments of the present invention.

도 1은 본 발명에 이용되는 차선 인식 장치의 제어 블럭도로서, 주행 도로의 차선을 촬영하는 카메라(10)와; 상기 카메라(10)에서 촬영된 영상 신호를 증폭하고 이진화 그레이 신호로 필터링 하여 출력하는 영상 처리부(11)와; 상기 영상처리부(11)에서 이진화 그레이 신호로 처리된 영상 신호를 기설정된 프로그램에 의하여 비교 판단 제어하고, 이 제어된 신호를 저장하면서 차선의 이탈 여부를 판단하는 제어수단(12)과; 상기 제어수단(12)에서 출력되는 제어 신호를 디스플레이 하는 모니터(13)와; 상기 제어수단(12)에서 차선 이탈 판정시 운전자에게 경보를 발하는 경보부(14)로 구성되게 된다.1 is a control block diagram of a lane recognizing apparatus used in the present invention, comprising: a camera 10 photographing a lane of a driving road; An image processor 11 for amplifying the image signal photographed by the camera 10 and filtering the binarized gray signal and outputting the filtered signal; Control means (12) for comparing and controlling the image signal processed by the image processing unit (11) as a binarized gray signal by a predetermined program, and determining whether the lane is separated while storing the controlled signal; A monitor (13) for displaying the control signal output from the control means (12); The control means 12 is configured to the alarm unit 14 to alert the driver when the lane departure determination.

도 2는 본 발명 차선 인식 방법에 대한 플로우차트로서, 카메라로부터 전방의 차선 영상 신호를 입력하는 영상 신호 입력 단계(201)와; 상기 영상 신호 입력 단계(201)에서 입력된 영상 신호에 마스크 및 한계 적용으로 에지를 추출하는 에지 추출 단계(202)와; 상기 에지 추출 단계(202)에서 추출된 차선을 찾지 못했거나 차선을 변경할 때 화면의 중심에서부터 새로운 차선을 탐색하는 영역을 지정하는 탐색 영역 지정 단계(203)와; 상기 탐색 영역 지정 단계(203)에서 지정된 차선 탐색 영역에서 화면상에 나타나는 픽셀 폭을 미리 추정한 값으로 차선폭에 맞는 물체의 에지점들을 분리하여 차선 에지 후보 리스트를 기록하는 추정 차선폭 분리 단계(204)와; 상기 추정 차선폭 분리 단계(204)에서 차선 에지 후보 리스트에 잡음 제거 및 불필요한 에지 제거를 위해 적용 한계를 조정하는 적용 한계 조정 단계(205)와; 상기 적용 한계 조정 단계(205)에서 조정된 서로 연관된 에지점끼리 그룹화하고 차선 특징이 없는 그룹은 제거하는 에지 그룹화 단계(206)와; 상기 에지 그룹화 단계(206)에서 그룹화 된 에지의 여러 차선 중 주행 차선을 추출하기 위하여 가장 안쪽으로 위치하는 1 차 방정식을 가지는 그룹들만 남겨두고 바깥쪽에 위치하는 그룹들은 제거하는 바깥 편향 에지 그룹 제거 단계(207)와; 상기 바깥 편향 에지 그룹 제거 단계(207)에서 최종적으로 남아 있는 에지점들을 하나의 그룹화하여 최소의 오차로 설명할 수 있는 차선 방정식을 추출하는 다항식 추출 단계(208)와; 상기 다항식 추출 단계(208)에서 추출된 차선 방정식이 도로의 형태에 적합한 가를 판정한 후 차선을 추출하는 도로 모델링 단계(209)와; 상기 도로 모델링 단계(209)에서 차선이 추출되면 추출된 차선의 방정식으로 차선 이탈 경보 범위 이하 여부로 차선 이탈을 판단하는 차선 이탈 판정 단계(210)와; 상기 차선 이탈 판정 단계(210)에서 차선 이탈시 경보를 발하는 경보 단계(211)와; 상기 도로 모델링 단계(209)에서 차선이 추출되지 않으면 도로의 최종 좌측 차선이 인식되는 가를 판단하는 최종 좌측 차선 인식 판단 단계(211)와; 상기 최종 좌측 차선 인식 판단 단계(211)에서 최종 좌측 차선이 인식되었으면 리턴하고, 상기 최종 좌측 차선이 인식되지 않았으면 촬영된 도로 및 차선 그레이 레벨을 미분 필터로 미분하고 이 미분된 도로 및 최종 좌측 차선에 대한 그레이 레벨을 반전하여 최종 좌측 차선을 인식하는 차선 인식 단계(212)로 이루어지게 된다.2 is a flowchart of a lane recognition method of the present invention, comprising: an image signal input step 201 for inputting a front lane image signal from a camera; An edge extraction step (202) for extracting an edge by applying a mask and a limit to the image signal input in the video signal input step (201); A search region designation step (203) for designating an area for searching for a new lane from the center of the screen when the lane extracted in the edge extraction step (202) is not found or the lane is changed; An estimated lane width separation step of recording a lane edge candidate list by dividing edge points of an object corresponding to the lane width by a pre-estimated value of the pixel width appearing on the screen in the lane search area designated in the search area specifying step 203 ( 204); An application limit adjustment step (205) of adjusting the application limit for noise removal and unnecessary edge removal in the lane edge candidate list in the estimated lane width separation step (204); An edge grouping step 206 of grouping the mutually related edge points adjusted in the application limit adjustment step 205 and removing the group having no lane feature; In the edge grouping step 206, the outer deflection edge group removing step removes only the groups having the innermost linear equation to remove the driving lane among the lanes of the grouped edges. 207); A polynomial extraction step (208) for extracting a lane equation that can be described as a minimum error by grouping the edge points remaining in the outer deflection edge group removal step (207); A road modeling step (209) of extracting lanes after determining whether the lane equation extracted in the polynomial extraction step (208) is suitable for the shape of the road; A lane departure determination step 210 of determining lane departure based on whether the lane departure is within a lane departure warning range using the extracted lane equation when the lane is extracted in the road modeling step 209; An alarm step 211 for generating an alarm upon lane departure in the lane departure determination step 210; A final left lane recognition determination step 211 for determining whether the final left lane of the road is recognized if the lane is not extracted in the road modeling step 209; If the last left lane is recognized in the final left lane recognition determination step 211, if the last left lane is not recognized, the photographed road and the lane gray level are differentiated by a differential filter and the differentiated road and the last left lane A lane recognition step 212 is performed in which the gray level is inverted to recognize the final left lane.

상기와 같이 이루어지는 본 발명은 먼저 차량에 차선을 촬영하는 카메라(10)를 차량의 임의로 설정된 위치(중앙)에 장착하게 되고, 상기 카메라(10)에서 촬영된 영상 신호는 차량의 내부에 설치되는 차선 인식 장치에 입력되게 설치된다.According to the present invention made as described above, first, a camera 10 for photographing a lane on a vehicle is mounted at a randomly set position (center) of the vehicle, and the image signal photographed by the camera 10 is a lane installed inside the vehicle. It is installed to be input to the recognition device.

이와 같이 설치한 상태에서 차량 주행이 시작되고, 차선 인식 장치를 작동시키게 되면, 상기 카메라(10)에서는 주행 차선을 촬영하여 영상 신호를 출력하게 되고, 이 출력되는 영상 신호는 차선 이탈 판단 장치의 영상 처리부(11)에 입력되며, 이 영상 처리부(11)에서는 입력되는 영상 신호에 대하여 프레임, 수직, 수평 동기를 기준하여 프레임 처리, 라인 처리, 포획/디스플레이 구간을 설정한 후 제어수단(12)에 입력하게 되면, 상기 제어수단(12)에서는 메모리, 필터로 구성하여 상기 입력되는 영상 신호에 대하여 메모리에 기설정된 프로그램에 의하여 차선 인식 및 차선 이탈 판단을 수행하고, 이 수행 결과를 모니터(13)를 통해서 영상 출력함과 아울러, 경보부(14)를 통해서 차선 이탈시 경보를 발하게 되는바, 상기 제어수단(12)에서 차선 인식 과정을 설명하면, 먼저 카메라(10)를 통해서 촬영되어 입력되는 차선 영상 신호 및 영상 처리부(11)에서 영상 처리된 신호를 입력받게 된다(단계201).When the vehicle starts to be started in this state and the lane recognition device is operated, the camera 10 photographs the driving lane to output an image signal, and the output image signal is an image of the lane departure determining apparatus. The image processing unit 11 is input to the processing unit 11 and sets the frame processing, line processing, and capture / display sections based on the frame, vertical, and horizontal synchronization with respect to the input image signal, and then the control unit 12. When inputted, the control means 12 constitutes a memory and a filter, and performs lane detection and lane departure determination by using a program preset in the memory with respect to the input video signal. In addition to outputting an image through the alarm unit 14, an alarm is issued when the lane departs, and the control unit 12 describes the lane recognition process. In operation 201, a lane image signal photographed through the camera 10 and a signal processed by the image processor 11 are input (step 201).

이어서 영상 처리된 신호가 입력되면 상기 제어수단(12)에서는 2×1 마스크 및 한계값을 적용하여 차선의 방향성이 손상 없이 잘 표현되는 수직 에지 이미지(수직 성분)를 차선 검출 성분으로 하여 에지를 추출한다(단계202).Subsequently, when an image processed signal is input, the control means 12 applies a 2 × 1 mask and a threshold value to extract an edge using a vertical edge image (vertical component) that is well represented without damaging the directionality of the lane as a lane detection component. (Step 202).

이와 같이 추출된 에지는 이전 프레임에서 추출된 차선의 방정식이 화상 평면에서 지나는 궤적을 중심으로 좌,우 10 화소 이내를 현재 프레임의 에지 탐색 구간으로 지정하고(단계203), 여기서 방정식의 궤적이 화상의 크기 범위를 벗어나는 수직 위치들은 기본 탐색 영역이 주어진다.In this way, the extracted edge designates the edge search section of the current frame within 10 pixels of the left and right centers on the trajectory of the lane extracted from the previous frame in the image plane (step 203), where the trajectory of the equation is the image. Vertical positions outside the size range of are given a default search area.

상기 기본 탐색 영역은 이전 프레임에서 차선을 찾지 못했거나 차선을 변경할 때 화면의 중심으로부터 새로운 차선을 찾기 위해서 이다.The basic search area is for finding a new lane from the center of the screen when the lane is not found in the previous frame or when the lane is changed.

상기 탐색 영역이 지정되면, 제어수단(12)에서는 화면상의 y축 수직 위치별로 차선이 나타날 때 화면상에 나타나는 화소폭을 미리 추정한 값을 사용하여 그 폭에 맞는 물체의 에지점들을 차선 에지 후보 리스트에 기록한다.When the search area is specified, the control means 12 uses the estimated value of the pixel width appearing on the screen when lanes appear for each vertical position of the y-axis on the screen to select the edge points of the object corresponding to the width. Record on the list.

즉 상기 화소 폭은 좌측점과 우측점이 있는데 영상에서 한 라인에 나타나는 수많은 에지점들 중 어떤 두개의 점을 찾아 서로 대응시켜 그 사이 폭을 알아내게 된다.That is, the pixel width has a left point and a right point, and finds any two points among a number of edge points appearing on a line in the image and corresponds to each other to find a width between them.

여기서 좌측과 우측 사이의 광도가 주변의 광도보다 밝을 경우 이를 물체라고 규정하고, 상기 물체는 에지 추출 과정을 적용하여 좌측에는 -부호를 가진 에지가 나타나고, 오른쪽에서는 +부호를 가지는 에지가 나타난다.In this case, when the luminance between the left and the right is brighter than the surrounding luminance, the object is defined as an object. The object is subjected to an edge extraction process, and an edge with a-sign appears on the left side, and an edge with a + sign on the right side.

따라서 간단히 미분 영상에서 우측에서부터 좌측으로 검사하여 +부호가 나왔을 때부터 -부호가 나올 때까지의 픽셀 거리가 바로 물체의 폭이라고 단정하고이 폭에 y축 위치별로 미리 추정한 차선폭과 비교하여 비슷하면 차선 에지 후보 리스트에 기록하며, 이때 각 y축 위치별로 좌,우측 각각 하나씩 두개의 위치만 기록한다(단계204).Therefore, in the differential image, it is assumed that the pixel distance from the right sign to the left sign is the width of the object and is similar to the lane width estimated by the y-axis position. In the lane edge candidate list, only two positions, one for each of the left and one for each y-axis position, are recorded (step 204).

상기와 같이 추정 차선폭에 맞는 물체 분리가 되면, 상기 제어수단(12)에서는 차선 에지에서 잡음 제거 및 불필요한 에지 제거를 위하여 에지 추출 단계에서 사용하는 한계값을 조정하게 되는데, 이는 지정된 탐색영역내의 평균 미분값으로 지정된다.When the object fits the estimated lane width as described above, the control means 12 adjusts the threshold value used in the edge extraction step for noise removal and unnecessary edge removal at the lane edge, which is an average in the designated search area. It is specified as a derivative.

그 이유는 도로의 차선을 도포하는데 사용된 페인트의 반사 특성이 운전자의 시야에서 주변 광도 분포와 어울리면서 명료하게 나타나는 것을 감안하여 차선의 적용 한계값을 조정하게 된다(단계205).The reason is that the application limit of the lane is adjusted in consideration of the reflection characteristics of the paint used to apply the lane of the road to the driver's field of vision, clearly matching with the ambient light distribution (step 205).

이와 같이 상기 차선 적용 한계값이 조정되면 상기 제어수단(12)에서는 차선폭에 나타난 물체 중 서로 연관이 있는 에지점끼리 그룹화하고 차선 특징이 없는그룹은 제거한다. 상기 그룹화 하는 기준은 차선 에지 후보 리스트에서 서로 4 화소 이내에 모여 있는 에지점들을 하나의 그룹으로 하고, 다음으로 에지점을 10개 이하를 가지는 그룹들을 제거한다. 마지막으로 그룹별로 최소의 오차로 설명할 수 있는 1차 방정식을 각각 추출하여 기울기가 왼쪽 에지 리스트에서는 음, 오른쪽 에지 리스트에서는 양의 기울기를 가지는 그룹은 차선 후보 리스트에서 제거한다(단계206).As such, when the lane application limit value is adjusted, the control means 12 groups the edge points that are related to each other among the objects shown in the lane width and removes the group having no lane feature. In the grouping criterion, edge points gathered within 4 pixels from each other in the lane edge candidate list are formed into one group, and then groups having 10 or less edge points are removed. Finally, the linear equations that can be explained with the minimum error for each group are extracted, and the group having the negative slope in the left edge list and the positive slope in the right edge list is removed from the lane candidate list (step 206).

그리고 상기 제어수단(12)에서는 여러 차선 중 주행 차선을 추출하기 위한 목적으로 가장 안쪽으로 위치하는 1차 방정식을 가지는 그룹들만 남겨두고 바깥쪽에 위치하는 그룹들은 제거한다(단계207).The control means 12 removes only the groups having the first-order equation located inward, for the purpose of extracting the driving lane, among the several lanes (step 207).

이어서 상기 주행 차선이 추출되면 제어수단(12)에서는 차선 에지 후보 리스트에서 최종적으로 남아 있는 에지점들을 하나로 그룹화하여 이들을 최소의 오차로 설명할 수 있는 최소 자승법을 사용하여 방정식을 추출한다(단계208).Subsequently, when the driving lane is extracted, the control means 12 extracts an equation using a least square method that can group the last remaining edge points in the lane edge candidate list into one and explain them with a minimum error (step 208). .

상기 차선의 방정식이 추출되면, 상기 제어수단(12)에서는 추출된 차선의 방정식이 도로의 형태에 적합한가를 판정하면서 좌,우측 차선을 추출하여 도로 모델링 한다(단계209).When the equation of the lane is extracted, the control means 12 extracts the left and right lanes while determining whether the extracted lane equation is suitable for the shape of the road and modeling the road (step 209).

이어서 상기 제어수단(12)에서는 상기 도로 모델링에서 추출된 좌,우측 차선 에 대하여 기설정된 차선 이탈 판단 알고리즘에 의하여 차선 이탈 유무를 판정하게 되고(단계210), 이때 차선 이탈이 아니면 리턴하게 되며, 차선 이탈이면 상기 제어수단(12)에서는 경보부(14)를 제어하여 운전자에게 차선 이탈을 경보하게 된다.Subsequently, the control means 12 determines whether there is a lane departure by a predetermined lane departure determination algorithm with respect to the left and right lanes extracted from the road modeling (step 210). If the departure, the control means 12 controls the alarm unit 14 to warn the driver of lane departure.

그러나 상기 도로 모델링에서 좌,우측 차선 모두가 추출되지 않았으면, 제어수단(12)에서는 최종 좌측 차선(중앙선)이 인식되었는가를 판단하게 되는바, 이때 좌측 차선 인식을 판단하게 되는 것은 주행 도로가 아스팔트 도로가 있는가 하면, 콘크리트 도로가 있기 때문이다.However, if both the left and right lanes are not extracted from the road modeling, the control means 12 determines whether the final left lane (center line) is recognized. At this time, it is determined that the driving lane is asphalt. Because there is a road, there is a concrete road.

즉 상기 주행 도로가 아스팔트 도로인 경우에는 도 3a에 도시한 바와 같이, 카메라(10)에서 촬영되어 입력되는 영상 신호를 영상 처리부(11)에서 디지털 신호를 변환 처리할 때 도로 바닥면(검정색)에 그레이 레벨(gray level)이 차선(백색이나 황색)의 그레이 레벨보다 현격하게 낮게 되기 때문에 차선을 용이하게 판단할 수 있게 된다.That is, when the driving road is an asphalt road, as shown in FIG. 3A, an image signal photographed and input by the camera 10 is converted to a road surface (black) when the image processing unit 11 converts a digital signal. Since the gray level is significantly lower than the gray level of the lane (white or yellow), the lane can be easily determined.

반면에 도 3b에 도시한 바와 같이, 콘크리트 도로를 주행하게 되는 경우 카메라(10)에서 촬영되어 입력되는 영상 신호를 영상 처리부(11)에서 디지털 신호를 변환 처리할 때 도로 바닥면(백색)에 그레이 레벨이 좌 우측 차선(황색 또는 백색)의 그레이 레벨보다 차이 없이 나타나게 된다.On the other hand, as shown in FIG. 3B, when driving a concrete road, the image signal photographed and input by the camera 10 is converted to gray on the road surface (white) when the image processing unit 11 converts the digital signal. The level will appear no difference than the gray level of the left and right lanes (yellow or white).

다시 말하면, 상기 아스팔트 도로에서 최종 좌측 차선(황색)을 중심으로 화상 신호에 대한 그레이 레벨을 살펴보면, 진행 방향에서 차선의 좌측 에지 바깥부분과 차선 중심 그리고 차선 중심 우측 부분의 그레이 레벨 신호가 각각 50,150,150으로 나타났다고 가정하면, 상기와 같이 나타나는 그레이 레벨 신호가 작을수록 배경이 검정색에 가깝고, 그레이 레벨 신호가 클수록 배경이 흰색에 가깝다는 것을 알 수 있다.In other words, looking at the gray level of the image signal around the final left lane (yellow) on the asphalt road, the gray level signal of the left edge of the lane, the center of the lane, and the right side of the lane center in the direction of travel are 50, 150, 150, respectively. If it appears, it can be seen that the smaller the gray level signal as described above, the closer the background is to black, and the larger the gray level signal, the closer the background is to white.

따라서 상기 도로와 차선에 대하여 화상 처리된 그레이 레벨 신호가 작을 수 록 배경이 검정색, 그레이 레벨이 클수록 배경이 흰색으로 나타나게 되는 것을 감안하여 차량이 콘크리트 도로 주행시에는 도로는 흰색, 중앙선이 황색이므로, 도로 보다 중앙선이 어둡게 나타나게 된다.Therefore, the smaller the gray level signal processed for the road and lane, the blacker the background, and the larger the gray level, the whiter the background. The centerline will appear darker.

그러므로 진행 방향에서 중앙선의 좌측 에지 바깥부분과 차선 중심 그리고 차선 중심 우측 부분의 그레이 레벨 신호가 각각 100,80,80으로 나타나게 되므로 상기 도로의 그레이 레벨이 크고, 반대로 중앙선은 그레이 레벨이 작게 나타나게 되어 상기 제어장치(12)에서는 상기와 같이 나타나게 되는 그레이 레벨로 중앙선을 구별하지 못하게 되기 때문에 최종 좌측 차선이 인식되었는가를 판단하게 된다(단계211).Therefore, in the direction of travel, the gray level signal of the outside of the left edge of the center line, the center of the lane, and the right side of the center of the lane is represented as 100, 80, 80, respectively, so that the gray level of the road is large, whereas the center line has the gray level small Since the control device 12 cannot distinguish the center line by the gray level shown as described above, it is determined whether the final left lane is recognized (step 211).

그래서 최종 좌측 차선이 인식되게 되면 리턴을 하게 되지만, 반면에 최종 좌측 차선이 인식되지 않게 되면 상기 제어장치(12)에서는 현재 도로가 아스팔트 도로가 아니고 콘크리트 도로로 인식하게 되는바, 즉 인식 과정을 살펴보면, 상기 도 3a에 도시한 바와 같이, 아스팔트 도로 주행시 그레이 레벨 50, 150, 150에 대한 필터(-1,0.1)로 미분하면 50(-1) + 150(0) + 150(1)= 100 이 되고, 상기 도 3b 에 도시한 바와 같이 콘크리트 도로 주행시 그레이 레벨 100, 80, 80 에 대한 필터(-1,0,1)로 미분하면 100(-1) + 80(0) + 80(1) = -20 이 되게 된다.So, if the last left lane is recognized, the return is made. On the other hand, if the last left lane is not recognized, the control device 12 recognizes that the current road is not an asphalt road but a concrete road. As shown in FIG. 3A, when the asphalt road is differentiated with the filter (-1,0.1) for gray levels 50, 150, and 150, 50 (-1) + 150 (0) + 150 (1) = 100 3b, 100 (-1) + 80 (0) + 80 (1) = − when differentiating with a filter (-1,0,1) for gray levels 100, 80, and 80 when driving on a concrete road Will be 20.

상기 제어수단(12)에서는 상기 필터에 의하여 미분된 값으로 주행 도로가 아스팔트 도로인가, 콘크리트 도로인가를 인식하게 되며, 상기 제어수단(12)에서 도 3a에 도시한 바와 같이, 아스팔트 도로를 주행하는 경우, 도로(검정색)와 차선(황색)에 대하여 필터링 신호의 경우 도로는 낮은 그레이 레벨 그리고 차선은 높은 그레이 레벨로 필터링 되게 된다.The control means 12 recognizes whether the traveling road is an asphalt road or a concrete road by the value differentiated by the filter. The control means 12 drives the asphalt road as shown in FIG. 3A. In the case of filtering signals for roads (black) and lanes (yellow), the roads are filtered to low gray levels and the lanes to high gray levels.

반대로 상기 도 3b에 도시한 바와 같이, 콘크리트 도로의 경우 도로(흰색)는 높은 그레이 레벨 그리고 차선(황색선)은 낮은 그레이 레벨로 인식하게 되므로 상기 입력되는 필터링 된 그레이 레벨로는 도로와 차선을 바꾸어 인식하게 되는 오류를 범하게 된다.On the contrary, as shown in FIG. 3B, in the case of a concrete road, the road (white) is recognized as a high gray level and the lane (yellow line) is regarded as a low gray level. You will make a mistake.

그러므로 상기 제어장치(12)에서 상기 콘크리트 도로 주행으로 판정되면 필터링 된 도로와 차선에 대하여, 낮은 그레이 레벨을 차선으로 인식하고, 반면에 상기 높은 그레이 레벨을 도로로 판정하는 반전 필터링을 하여 인식하게 되므로, 상기 콘크리트 도로 주행시에도 황색 차선을 검출하면서 주행을 할 수 있게 되는 것이다(단계212).Therefore, when the control device 12 determines that the concrete road is driven, the low gray level is recognized as the lane for the filtered road and the lane, while the high gray level is determined by the inverse filtering to determine the road. When driving the concrete road, it is possible to travel while detecting the yellow lane (step 212).

이상에서 설명한 바와 같이 본 발명은 도로 주행 중에 차선을 그레이 레벨 변화로 인식하면서 1차선 주행 중 인식하게 되는 차선에서 좌측 차선이 모델링 되는가를 판단하여 좌측 차선이 모델링 되지 않는 경우 필터링 되는 도로와 차선의 그레이 레벨을 반전하여 인식하도록 함으로써, 콘크리트 도로 주행시에도 도로의 1차선 좌측에 그어져 있는 황색선을 감지하면서 주행을 할 수 있는 차선 인식 능력을 크게 향상할 수 있게 되는 것이다.As described above, the present invention determines whether the left lane is modeled in the lane that is recognized during the one-lane driving while recognizing the lane as the gray level change while driving the road, and the gray of the road and the lane that is filtered when the left lane is not modeled. By reversing and recognizing the level, it is possible to greatly improve the lane recognition ability to drive while detecting a yellow line drawn on the left side of the first lane of the road even when driving on a concrete road.

Claims (2)

도로 전방의 차선 영상 신호를 입력하고, 이 입력된 영상 신호에서 에지를 추출하며, 추출된 에지로 새로운 차선을 탐색하는 영역을 지정하고, 이 지정된 차선 탐색 영역에서 차선폭에 맞는 물체의 에지점들을 분리한 후 차선 에지 후보 리스트를 기록하며, 상기 차선 에지 후보 리스트에 잡음 제거 및 불필요한 에지 제거한 후 서로 연관된 에지점끼리 그룹화하여 가장 안쪽으로 위치하는 1차 방정식을 가지는 그룹들만 남겨두고 바깥쪽에 위치하는 그룹들은 제거한 후, 최종적으로 남아 있는 에지점들을 하나의 그룹화하여 최소의 오차로 설명할 수 있는 차선 방정식을 추출하고 상기 추출된 차선 방정식이 도로의 형태에 적합한 가를 판정하면서 차선 이탈 여부를 판정하는 차선 인식 방법에 있어서, 상기 차선이 추출되지 않으면 도로의 최종 좌측 차선이 인식되는 가를 판단하는 단계와; 상기 단계에서 최종 좌측 차선이 인식되었으면 리턴하고, 상기 최종 좌측 차선이 인식되지 않았으면 촬영된 도로 및 최종 좌측 차선에 대한 그레이 레벨을 반전하여 최종 좌측 차선을 인식하는 단계로 이루어짐을 특징으로 하는 차량의 차선 인식 방법.Inputs the lane image signal in front of the road, extracts the edge from the input image signal, designates the area to search for a new lane with the extracted edge, and in this designated lane search area, After separating, the lane edge candidate list is recorded, and after removing noise and eliminating unnecessary edges in the lane edge candidate list, grouping edge points that are related to each other and leaving the groups having only the innermost first-order equation, leaving the outer group After removing them, the remaining lane points are grouped into one to extract a lane equation that can be explained with a minimum error, and the lane recognition that determines whether the extracted lane equation is suitable for the shape of the road and determines lane departure. The method, wherein if the lane is not extracted, the last left lane of the road Determining whether this is recognized; And if the last left lane is recognized in the step, if the last left lane is not recognized, inverting the gray levels of the photographed road and the last left lane to recognize the last left lane. Lane Recognition Method. 제 1 항에 있어서, 상기 그레이 레벨 반전 인식은 그레이 레벨이 높으면 도로, 상기 그레이 레벨이 낮으면 차선으로 반전 인식하도록 필터링 하여서 된 것을 특징으로 하는 차량의 차선 인식 방법.The method of claim 1, wherein the gray level inversion recognition is performed by filtering the vehicle to be inversely recognized as a road when the gray level is high and a lane when the gray level is low.
KR1020000020290A 2000-04-18 2000-04-18 Method for lane sencing of vehicle KR100354022B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000020290A KR100354022B1 (en) 2000-04-18 2000-04-18 Method for lane sencing of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000020290A KR100354022B1 (en) 2000-04-18 2000-04-18 Method for lane sencing of vehicle

Publications (2)

Publication Number Publication Date
KR20010096265A true KR20010096265A (en) 2001-11-07
KR100354022B1 KR100354022B1 (en) 2002-09-27

Family

ID=19665103

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000020290A KR100354022B1 (en) 2000-04-18 2000-04-18 Method for lane sencing of vehicle

Country Status (1)

Country Link
KR (1) KR100354022B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696100B1 (en) * 2005-03-30 2007-03-19 (주)태광이엔시 Apparatus and method for generating identification signal of traffic lane using radar, apparatus and method for traffic lane identification of received signal using radar
KR101121777B1 (en) * 2010-04-14 2012-06-12 숭실대학교산학협력단 Lane detection method
KR101517181B1 (en) * 2014-02-28 2015-05-04 주식회사 코아로직 System and method for warning lane departure

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2560702B2 (en) * 1985-12-11 1996-12-04 日本電装株式会社 Lane recognition device on the road
JP2862199B2 (en) * 1993-05-25 1999-02-24 松下電器産業株式会社 Vehicle recognition device
JP3169483B2 (en) * 1993-06-25 2001-05-28 富士通株式会社 Road environment recognition device
KR100326674B1 (en) * 1999-03-11 2002-03-02 이계안 Method for alarming beyond the lane in vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696100B1 (en) * 2005-03-30 2007-03-19 (주)태광이엔시 Apparatus and method for generating identification signal of traffic lane using radar, apparatus and method for traffic lane identification of received signal using radar
KR101121777B1 (en) * 2010-04-14 2012-06-12 숭실대학교산학협력단 Lane detection method
KR101517181B1 (en) * 2014-02-28 2015-05-04 주식회사 코아로직 System and method for warning lane departure

Also Published As

Publication number Publication date
KR100354022B1 (en) 2002-09-27

Similar Documents

Publication Publication Date Title
KR101935399B1 (en) Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm
KR100373002B1 (en) Method for judgment out of lane of vehicle
KR101472615B1 (en) System and method for warning lane departure
TWI607901B (en) Image inpainting system area and method using the same
US20090296987A1 (en) Road lane boundary detection system and road lane boundary detecting method
JP2006268097A (en) On-vehicle object detecting device, and object detecting method
KR101546700B1 (en) System and method for recognizing road pothole area using image
JP2006180479A (en) Apparatus and method for distinguishing between camera movement and object movement and extracting object in video monitoring system
WO2007111220A1 (en) Road division line detector
KR20190019840A (en) Driver assistance system and method for object detection and notification
CN111046741A (en) Method and device for identifying lane line
JP3812384B2 (en) Leading vehicle recognition device
KR101044903B1 (en) Fire detecting method using hidden markov models in video surveillance and monitoring system
JP2004086417A (en) Method and device for detecting pedestrian on zebra crossing
KR101911239B1 (en) The channel extension operation system for detecting illegally parked vehicles
KR100355993B1 (en) An apparatus for warning lane deviation and a method for warning the same
KR100354022B1 (en) Method for lane sencing of vehicle
JPH07249128A (en) Picture processor for vehicle
CN110388985B (en) Method for determining color of street sign and image processing system
JP2007193702A (en) Image processing device and image processing method
US11749002B2 (en) Lane line recognition apparatus
JP3779229B2 (en) Identification method, identification device, and traffic control system
JP4849262B2 (en) License plate extraction system, license plate extraction device, license plate extraction method and program
JP6949090B2 (en) Obstacle detection device and obstacle detection method
JP2018072884A (en) Information processing device, information processing method and program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100901

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee