KR20050101726A - Method for a traffic line change detection of using image recognition on vehicle - Google Patents

Method for a traffic line change detection of using image recognition on vehicle Download PDF

Info

Publication number
KR20050101726A
KR20050101726A KR1020040026825A KR20040026825A KR20050101726A KR 20050101726 A KR20050101726 A KR 20050101726A KR 1020040026825 A KR1020040026825 A KR 1020040026825A KR 20040026825 A KR20040026825 A KR 20040026825A KR 20050101726 A KR20050101726 A KR 20050101726A
Authority
KR
South Korea
Prior art keywords
lane
image
vehicle
change
extracting
Prior art date
Application number
KR1020040026825A
Other languages
Korean (ko)
Other versions
KR100588563B1 (en
Inventor
허동필
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020040026825A priority Critical patent/KR100588563B1/en
Publication of KR20050101726A publication Critical patent/KR20050101726A/en
Application granted granted Critical
Publication of KR100588563B1 publication Critical patent/KR100588563B1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0136Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to actual contact with an obstacle, e.g. to vehicle deformation, bumper displacement or bumper velocity relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

차량의 영상 처리장치에서 CCD 카메라를 통해 입력되는 차선 영상으로부터 차선 변화를 인식하여 운전자의 차선 변경 의지를 자동으로 판단하여 방향 지시등의 점멸 및 사이드 미러의 각도를 자동으로 조정하도록 하는 것으로,By recognizing the lane change from the lane image input through the CCD camera in the vehicle image processing apparatus, the driver will automatically determine the driver's willingness to change the lane, and automatically adjust the blinking of the turn signal and the angle of the side mirror.

차량의 주행에 따라 입력되는 도로 영상을 흑백 이미지로 변환한 다음 영상 처리를 통해 차선 인식을 인식하는 과정, 인식된 차선의 기울기 변화를 추출하여 기울기의 변화로부터 차량의 진행 방향을 추출하는 과정, 차량의 진행 방향의 추출에 따라 방향 지시등 및 사이드 미러를 작동 제어하는 과정 및 상기 기울기의 변화가 차선의 복귀로 판단되면 방향 지시등의 작동을 오프 시킴과 동시에 사이드 미러를 원래의 위치로 복원시키는 과정을 포함한다.A process of recognizing lane recognition through image processing, converting a road image input according to the driving of a vehicle into a black and white image, extracting a change in inclination of a recognized lane, and extracting a direction of the vehicle from a change in inclination, a vehicle Operating the direction indicator and the side mirror according to the extraction of the traveling direction, and if the change of the slope is determined to return to the lane, turning off the operation of the direction indicator and restoring the side mirror to its original position. do.

Description

영상 인식을 이용한 차선 변경 감지방법{METHOD FOR A TRAFFIC LINE CHANGE DETECTION OF USING IMAGE RECOGNITION ON VEHICLE}Lane Change Detection Method Using Image Recognition {METHOD FOR A TRAFFIC LINE CHANGE DETECTION OF USING IMAGE RECOGNITION ON VEHICLE}

본 발명은 차량의 영상 처리장치에 관한 것으로, 더 상세하게는 CCD 카메라를 통해 입력되는 차선 영상으로부터 차선 변화를 인식하여 운전자의 차선 변경 의지를 자동으로 판단하여 방향 지시등의 점멸 및 사이드 미러의 각도를 자동으로 조정하도록 하는 영상 인식을 이용한 차선 변경 감지방법에 관한 것이다.The present invention relates to an image processing apparatus of a vehicle, and more particularly, to recognize a lane change from a lane image input through a CCD camera, to automatically determine the driver's willingness to change lanes, and to determine a blinking direction indicator and an angle of a side mirror. The present invention relates to a lane change detection method using image recognition for automatic adjustment.

일반적으로 차량을 주행하는 과정에서 차선 혹은 진행 방향을 변경하고자 하는 경우 운전자는 멀티펑션 스위치에 구비되는 방향 지시등 점등을 위한 레버를 조작함으로써, 방향 지시등을 점등시켜 주변 차량에게 진행하고자 하는 방향을 안내하고 있다.In general, in the process of driving a vehicle, the driver may change the lane or driving direction by manipulating a lever for turning on the direction indicator light provided in the multi-function switch, and turn on the direction indicator to guide the surrounding vehicle to the direction to proceed. have.

따라서, 핸들을 조작하면서 방향 지시등 점등을 위한 레버를 잡거나 조작하여야 하므로 운전에 불편을 초래하는 문제점이 발생한다.Therefore, it is necessary to hold or operate the lever for turning on the direction indicator while operating the handle, which causes inconvenience in driving.

이를 개선하기 위하여 핸들의 조작 방향을 검출하는 조향각 센서와 다수개의 터치 센서를 이용하여 핸들이 조작되는 방향을 판단하여 방향 지시등을 점등시키는 기술이 제공되고 있다.To improve this problem, a steering angle sensor for detecting a steering direction of a handle and a plurality of touch sensors are used to determine a direction in which the steering wheel is operated, thereby providing a technology for turning on a direction indicator.

또한, 네비게이션 시스템의 경우 제공되는 설정된 목적지까지의 주행과정에서 예상 진로에 대한 방향 전환 여부를 판단하여 방향 지시등을 점등시키도록 하는 기술이 제공되고 있다.In addition, in the case of a navigation system, a technology for turning on a direction indicator by determining whether to change directions for an expected course in a driving process to a set destination provided is provided.

그러나, 전자의 경우 운전자가 핸들을 조작할 때마다 방향 지시등이 점등되어지며, 방향 전환 후 직선 주행을 하기 위하여 핸들을 복귀시키는 과정에서도 방향 지시등이 점등되어 주변 차량에게 혼란성을 유발시키게 되는 문제점이 있다.However, in the former case, the direction indicator light is turned on every time the driver operates the steering wheel, and in the process of returning the steering wheel for straight driving after the change of direction, the direction indicator light is turned on to cause confusion in surrounding vehicles. .

또한, 후자의 경우 목적지로의 주행중에 다른 여러 변수 및 경로의 변경이 수반될 수 있으나 이에 대하여 능동적으로 방향 지시등을 점등시킬 수 없으며, 차선 변경에 대해서는 방향 지시등의 점등이 수행되지 못하는 단점이 있다. In addition, the latter case may be accompanied by a change of various other variables and routes while driving to a destination, it is not possible to actively turn on the turn signal for this, there is a disadvantage that the turn on of the turn signal is not performed for the lane change.

본 발명은 상기와 같은 문제점을 해결하기 위하여 발명한 것으로, 그 목적은 차량에 장착되는 CCD 카메라를 통해 입력되는 차선 영상으로부터 차선 변화를 인식하여 운전자의 차선 변경 의지를 판단하고, 이에 따라 방향 지시등의 자동 점멸 및 사이드 미러의 각도를 자동으로 조정함으로써, 운전에 편리성 및 안정성을 제공하도록 한 것이다.The present invention has been invented to solve the above problems, the object is to recognize the lane change from the lane image input through the CCD camera mounted on the vehicle to determine the driver's willingness to change lanes, accordingly By automatically adjusting the angle of the flashing and the side mirrors to provide convenience and stability to the operation.

상기와 같은 목적을 실현하기 위한 본 발명은 차량의 주행에 따라 입력되는 도로 영상을 흑백 이미지로 변환한 다음 영상 처리를 통해 차선 인식을 인식하는 과정; 인식된 차선의 기울기 변화를 추출하여 기울기의 변화로부터 차량의 진행 방향을 추출하는 과정; 차량의 진행 방향의 추출에 따라 방향 지시등 및 사이드 미러를 작동 제어하는 과정 및; 상기 기울기의 변화가 차선의 복귀로 판단되면 방향 지시등의 작동을 오프 시킴과 동시에 사이드 미러를 원래의 위치로 복원시키는 과정을 포함하는 것을 특징으로 하는 영상 인식을 이용한 차선 변경 감지방법을 제공한다.According to an aspect of the present invention, there is provided a process of converting a road image input according to a driving of a vehicle into a black and white image, and then recognizing lane recognition through image processing; Extracting a change in inclination of the recognized lane to extract a traveling direction of the vehicle from the change in inclination; Operating and controlling the turn indicators and the side mirrors according to the extraction of the traveling direction of the vehicle; If it is determined that the change in the slope is the return of the lane provides a lane change detection method using image recognition comprising the step of turning off the operation of the turn signal and at the same time to restore the side mirror to its original position.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1에서 알 수 있는 바와 같이 본 발명의 일 실시예에 따른 영상 인식을 이용한 차선 변경 감지장치는 영상 검출부(10)와 영상 처리부(20), 차속 검출부(30), 제어부(40) 및 방향 지시등(50)으로 구성된다.As can be seen in Figure 1 lane change detection apparatus using the image recognition according to an embodiment of the present invention is the image detection unit 10, the image processing unit 20, the vehicle speed detection unit 30, the control unit 40 and the direction indicator light It consists of 50.

영상 검출부(10)는 차량의 실내 혹은 실외의 소정 위치에 장착되는 디지털 CCD 카메라로, 차량의 전방 도로의 영상을 입력한다.The image detector 10 is a digital CCD camera mounted at a predetermined position indoors or outdoors of the vehicle, and inputs an image of a road ahead of the vehicle.

영상 처리부(20)는 영상 검출부(10)에서 입력되는 영상 프레임을 흑백 이미지로 변환한 다음 프로세싱 처리한다.The image processor 20 converts the image frame input from the image detector 10 into a black and white image and then processes the image.

상기 영상 처리부(20)는 입력되는 도로 영상 중에서 전체 밝기 보다 너무 어두어서 영상처리에 노이즈로 동작할 여지가 있는 부분, 예를 들어 스키드 마크, 그림자 등에 대하여 미리 제거하고, 너무 어두운 부분이 영상 내에 존재하게 되면 주위와 밝기 차이가 많이 나므로 차선이 아닌데도 차선으로 오인식 할 수 있으므로, 차선 오인식을 방지하기 위하여 도로의 밝기 값을 평균화하고, 평균값 이하에 대해서는 평균값으로 치환한다.The image processing unit 20 removes a portion of the road image input that is too dark than the overall brightness and may be operated as noise in image processing, for example, a skid mark, a shadow, and the like, and a portion that is too dark exists in the image. If there is a lot of difference in brightness from the surroundings, it can be mistaken as a lane even if it is not a lane. Therefore, the road brightness value is averaged to prevent lane misrecognition, and the average value is replaced with the average value.

또한, 도로의 밝기 값이 평균값으로 처리된 영상에 대하여 필터링 처리를 수행하고, 필터링된 영상에 대하여 역원근법을 이용하여 위에서 본 영상으로 변환하며, 영상의 계산 시간 단축을 위하여 수직방향으로 소정 비율로 압축한다.In addition, the filtering process is performed on the image of which the brightness value of the road is processed as an average value, and the filtered image is converted into the image viewed from above by using the inverse perspective method, and in a predetermined ratio in the vertical direction to shorten the calculation time of the image. Compress.

그리고, 차선의 기울기를 추출하여 차량의 진행방향을 검출하고, 차선의 경계 침범에 대한 오프셋 값을 산출하며, 차선의 곡률을 산출한다.Then, the slope of the lane is extracted to detect the traveling direction of the vehicle, the offset value for the boundary violation of the lane is calculated, and the curvature of the lane is calculated.

차속 검출부(30)는 차량의 감가속에 대한 정보를 검출하여 그에 대한 정보를 출력한다.The vehicle speed detector 30 detects information on deceleration of the vehicle and outputs the information on the deceleration.

제어부(40)는 상기 영상 처리부(20)에서 인가되는 차선 인식과 차선 경계 침범에 대한 오프셋 값, 기울기, 곡률 등의 이미지와 차량의 감가속에 대한 정보를 분석하여 차량의 차선 변경 여부 및 진행 방향을 검출하여 방향 지시등(50)의 점멸 및 소등에 대한 제어와 사이드 미러(70)의 각도를 제어하여 운전자의 시야 범위를 확장 하여 준다.The controller 40 analyzes the image of the lane recognition applied to the image processing unit 20 and the offset value, the slope, the curvature, and the like, and the acceleration / deceleration of the vehicle, and determines whether the vehicle changes lanes and the driving direction. By detecting and controlling the blinking and turning off of the turn signal light 50 and the angle of the side mirror 70, the driver's field of view is expanded.

방향 지시등(50)는 상기 제어부(40)에서 인가되는 제어신호에 따라 점멸되어 차량의 진행 방향을 주변 차량에게 안내하여 준다. The direction indicator 50 blinks according to the control signal applied from the controller 40 to guide the traveling direction of the vehicle to the surrounding vehicles.

전술한 바와 같은 기능을 포함하는 본 발명의 구성에서 차선 변경 자동 인식을 통해 방향 지시등을 작동시키는 동작에 대하여 설명하면 다음과 같다.Referring to the operation of operating the turn signal through the lane change automatic recognition in the configuration of the present invention including the function as described above are as follows.

차량의 주행이 개시되면 차량 실내외의 전면부 소정의 위치에 설치되는 CCD 카메라인 영상 검출부(10)는 주행 도로의 전방 영상을 입력하여 영상 처리부(20)측에 인가한다(S201).When the driving of the vehicle is started, the image detection unit 10, which is a CCD camera installed at a predetermined position on the front and the outside of the vehicle, receives the front image of the driving road and applies it to the image processing unit 20 (S201).

영상 처리부(20)는 입력되는 외부 차선의 영상을 흑백 이미지로 변환한 다음(S202) 도로 영상중 전체 밝기 보다 너무 어두워서 영상 처리에 노이즈로 동작할 여지가 있는 부분, 예를 들어 스키드 마크, 그림자 등을 제거하여 차선이 아닌데도 차선으로 오인식 할 수 있는 부분을 제거한 후 도로의 밝기 값을 평균하고, 평균값 이하에 대해서는 평균값으로 치환한다(S203).The image processing unit 20 converts the input image of the external lane into a black and white image (S202), and the portion of the road image that is too dark than the overall brightness, and thus may have a noise to process the image, for example, a skid mark, a shadow, etc. After removing the part which can be misidentified as a lane even if it is not a lane, the brightness value of the road is averaged, and the average value is replaced with an average value below the average value (S203).

즉, 영상 검출부(10)에서 입력되는 도 3과 같은 영상중에서 영상 처리에 노이즈로 동작할 여지가 있는 어두운 A 부분에 대하여 제거하여 도 4와 같은 영상으로 처리한다.That is, the dark A portion of the image input from the image detecting unit 10, which may be operated as a noise in the image processing, is removed to process the image as shown in FIG.

이후, 어두운 영역이 제거된 영상을 필터링 처리하여 차선의 윤곽을 돋보이게 한다(S204).Thereafter, the image in which the dark region is removed is filtered to make the outline of the lane stand out (S204).

상기의 필터링 처리는 영상의 밝기를 이용하는 것이 아니고 차선의 간격을 이용하여 그 간격만큼 떨어진 양쪽 주위의 밝기값이 지금 위치보다 어둡다는 것을 이용한다.The above filtering process does not use the brightness of the image, but utilizes that the brightness values around both sides separated by the distance using the lane interval are darker than the current position.

도 5에서 현재 픽셀(Pixel)의 위치를 x,y라고 하고, P(x,y)를 (x,y)에서의 밝기값이라 하며, F(x,y)를 (x,y)에서 필터링 된 밝기값, m을 차선폭이라고 하면 In FIG. 5, the position of the current pixel Pix is called x, y, P (x, y) is called the brightness value at (x, y), and F (x, y) is filtered at (x, y). If the brightness value, m is the lane width

If P(x,y) 〉 P(x-m,y) 이고 P(x,y) 〉 P(x+m,y)If P (x, y)> P (x-m, y) and P (x, y)> P (x + m, y)

them F(x,y) = {P(x,y) - P(x - m,y)} + {P(x,y) - P(x + m,y)},them F (x, y) = {P (x, y)-P (x-m, y)} + {P (x, y)-P (x + m, y)},

else F(x,y) =0else F (x, y) = 0

즉, 차선 폭 만큼의 양 옆보다 밝고(차선이 밝으니까) 그 차이가 클수록 F(x,y)값이 커지게 되며, 이러한 처리를 거친 영상은 도 6과 같이 된다.In other words, the brighter the lane width (because the lane is brighter) and the larger the difference is, the larger the F (x, y) value becomes.

상기와 같이 필터링된 영상을 역원근법을 이용하여 도 7에 도시된 바와 같이 위에서 본 것 같은 영상으로 변환한다(S205).The filtered image as described above is converted into the image as seen from above using the inverse perspective method (S205).

상기의 도 7의 영상에서 도로는 평행한 것으로 가정한 것이다.In the image of FIG. 7, the roads are assumed to be parallel.

상기 도 6과 같이 위에서 본 것 같은 영상으로 변환시킨 영상에 대하여 계산시간을 단축시키기 위하여 수직 방향으로 소정의 비율, 예를 들어 1/5로 압축하여 도 8과 같이 처리한다(S206).In order to shorten the calculation time with respect to the image converted to the image as seen from above as shown in FIG. 6, it is compressed to a predetermined ratio in the vertical direction, for example, 1/5, and processed as shown in FIG. 8 (S206).

상기와 같이 압축된 영상에서 차량의 진행방향을 의미하는 차선의 기울기를 추출한다(S207).From the compressed image as described above, the slope of the lane signifying the traveling direction of the vehicle is extracted (S207).

차선의 기울기는 정량적인 값으로 구하기 어려우므로 "왼쪽 많이, 왼쪽 중간, 왼쪽 조금, 중앙, 오른쪽 조금, 오른쪽 중간, 오른쪽 많이" 의 순으로 단계를 나누어 산출하며, 도 8의 영상을 왼쪽 및 오른쪽으로 기울이면서 상기 각 단계별 수직으로 밝기값을 합한 함수로 도 9와 같이 추출한다.Since the slope of the lane is difficult to obtain as a quantitative value, it is calculated by dividing the steps in the order of “a lot of left, a middle of left, a little of left, a center, a little of right, a middle of right, a lot of right”, and the image of FIG. As shown in FIG. 9, the tilt is extracted as a function of adding brightness values vertically for each step.

상기 S207에서 차선의 기울기가 추출되면 도 10과 같이 영상의 수직 합인 수직 중첩함수를 얻을 수 있게 되며, 이 함수의 두 최대값을 구하게 되면 바로 차선의 X 위치가 되므로, 차량의 차선 변경(이탈)을 계산할 수 있게 된다.If the slope of the lane is extracted in S207, a vertical overlap function, which is the vertical sum of the images, is obtained as shown in FIG. 10, and when the two maximum values of the function are obtained, the X position of the lane is immediately changed. Can be calculated.

상기한 바와 같이 입력되는 영상으로부터 차선의 기울기를 추출하여 제어부(40)측에 인가하면, 제어부(40)는 영상 처리 영역을 판독하여 오프셋값을 계산한다(S208).When the inclination of the lane is extracted from the input image as described above and applied to the controller 40, the controller 40 reads the image processing area and calculates an offset value (S208).

이는 차선내의 차량 중심점 위치를 x라 하고, 폭을 w라 하면 도 11과 같은 도로의 모델링을 얻을 수 있게 되며, 여기서 Xleft와 Xright는 운전자의 성향에 따른 학습값이므로, 차선내 차량의 수평 위치 변화로부터 계산한다.This means that the position of the center point of the vehicle in the lane is x, and the width is w to obtain the modeling of the road as shown in FIG. 11, where Xleft and Xright are learning values according to the driver's inclination, and thus the horizontal position change of the vehicle in the lane Calculate from

X값이 차선의 왼쪽 혹은 오른쪽에 가까운 위치에서 수평 위치의 변화가 없는 횟수가 많으면 운전자는 왼쪽 혹은 오른쪽 차선에 붙여서 운전하는 버릇이 있는 습관이라고 판단하여, 이에 맞추어 Xleft 나 Xright 값에서 일정 거리값을 빼서 차등을 둔다.If there is a large number of times that the horizontal position does not change when the X value is close to the left or right side of the lane, the driver determines that it is a habit to drive by attaching it to the left or right lane, and accordingly, the distance value is determined from the Xleft or Xright value. Subtract the difference.

이후, 도로가 곡률이 있게 되면 도 12와 같이 차선이 휨을 갖게 되므로 이 휘어진 량을 구하여 도로의 곡률을 계산한다(S209).Subsequently, when the road has curvature, the lane has warpage as shown in FIG. 12, and thus the curvature of the road is calculated by calculating the amount of warpage (S209).

도로의 곡률은 영상의 밝은 곳을 이진화하여 그 포인트들을 2차원 커브로 확정하여 산출한다.The curvature of the road is calculated by binarizing the bright spots of the image and determining the points as a two-dimensional curve.

상기와 같이 차선의 기울기 및 곡률이 산출되면 차선의 기울기 및 곡률을 판단하여(S210), 차선의 기울기 변화가 검출되면 이로부터 차량의 진행(회전) 방향을 판단하여(S211) 진행되는 방향의 방향 지시등을 자동으로 점멸하여 준다(S212).When the inclination and curvature of the lane are calculated as described above, the inclination and curvature of the lane are determined (S210), and when a change in the inclination of the lane is detected, the driving (rotation) direction of the vehicle is determined therefrom (S211). The indicator flashes automatically (S212).

상기와 같이 차량의 진행 방향에 대하여 방향 지시등을 점멸시키는 상태에서 기울기기의 변환가 없는 경우 차선 혹은 진행 방향의 변경후 직선 주행으로 판단하여 점멸 상태에 있는 방향 지시등을 오프시킨다(S213).If there is no change of the inclination in the state in which the direction indicator flashes with respect to the traveling direction of the vehicle as described above, the vehicle turns off the direction indicator in the blinking state by determining that the vehicle is in a straight line after changing the lane or the traveling direction (S213).

또한, 교차로에서 진행 방향을 변경하는 경우 교차로에는 차선의 경계가 없으므로, 차속 검출부(30)에서 감속도의 정보가 검출되면 차선 변경 움직임의 기울기값을 바탕으로 진행 방향을 판단한다.In addition, when the traveling direction is changed at the intersection, since there is no boundary of the lane at the intersection, when the deceleration information is detected by the vehicle speed detection unit 30, the traveling direction is determined based on the inclination value of the lane change movement.

이때, 우회전 혹은 좌회전에 대하여 곡률의 한계값을 설정하고, 설정된 한계값 이상의 곡률이 검출되는 경우 해당 방향에 대한 방향 지시등을 점멸시킴과 동시에 사이드 미러를 작동시켜 운전자의 시야 범위를 확장시키고, 한계값 이내로 복귀되는 경우 점멸 상태의 방향 지시등을 오프시켜 줌과 동시에 사이드 미러를 원래의 위치로 복귀시켜 준다.At this time, if the curvature limit value is set for the right turn or the left turn, and if the curvature is detected above the set limit value, the direction indicator for the corresponding direction blinks and the side mirror is operated to expand the driver's field of view. When returning to the inside, turn off the blinking direction indicator and return the side mirror to its original position.

이상에서 설명한 바와 같이 본 발명은 도로의 영상으로부터 차선 변경을 자동으로 인식하여 방향 지시등 및 사이드 미러를 자동으로 작동시킴으로써 운전에 편리성 및 안정성을 제공한다.As described above, the present invention provides convenience and stability to driving by automatically recognizing a lane change from an image of a road and automatically operating a turn signal and a side mirror.

도 1은 본 발명에 따른 영상 인식을 이용한 차선 변경 감지장치에 대한 일 실시예의 구성도.1 is a block diagram of an embodiment of a lane change detection apparatus using image recognition according to the present invention.

도 2는 본 발명에서 영상 인식을 이용하여 차선 변경 감지 및 주변장치 작동을 실행하는 일 실시예의 흐름도.2 is a flow diagram of one embodiment for performing lane change detection and peripheral operation using image recognition in the present invention.

도 3은 도 1의 영상 검출부에서 입력되는 원 도로 영상.3 is an original road image input from the image detector of FIG. 1.

도 4는 도 3의 원 도로 영상의 밝기를 평균화한 영상.FIG. 4 is an image obtained by averaging brightness of an original road image of FIG. 3. FIG.

도 5는 도 4에 대한 필터링 처리의 원리를 설명한 도면.FIG. 5 is a diagram for explaining the principle of filtering processing in FIG. 4; FIG.

도 6은 도 4에 대하여 필터링 처리한 영상.FIG. 6 is a filtered image of FIG. 4. FIG.

도 7은 도 6에 대하여 위에서 본 것 같이 변환시킨 영상.7 is an image converted as seen from above with respect to FIG.

도 8은 도 7의 영상에 대하여 수직 방향으로 압축한 영상.8 is an image compressed in a vertical direction with respect to the image of FIG.

도 9는 도 8의 영상에서 차선 기울기를 추출하는 이미지.FIG. 9 is an image of extracting lane slopes from the image of FIG. 8. FIG.

도 10은 도 9의 영상에 대하여 수직 합을 구해 수직 중첩함수로 오프셋을 결정하는 상태도.10 is a state diagram in which a vertical sum is obtained with respect to the image of FIG. 9 to determine an offset using a vertical overlap function.

도 11은 영상 처리영역을 판독하여 차선내의 차량 중심점에서 오프셋을 검출하는 구성도.11 is a configuration diagram of reading an image processing area and detecting an offset at a vehicle center point in a lane.

도 12는 영상 처리 영역에서 곡률 산출 보이는 영상.12 is an image showing curvature calculation in an image processing region.

Claims (4)

차량의 주행에 따라 입력되는 도로 영상을 흑백 이미지로 변환한 다음 영상 처리를 통해 차선을 인식하는 과정;Converting the road image input according to the driving of the vehicle into a black and white image and then recognizing the lane through image processing; 인식된 차선의 기울기 변화를 추출하여 기울기의 변화로부터 차량의 진행 방향을 추출하는 과정;Extracting a change in inclination of the recognized lane to extract a traveling direction of the vehicle from the change in inclination; 차량의 진행 방향의 추출에 따라 방향 지시등 및 사이드 미러를 작동 제어하는 과정 및;Operating and controlling the turn indicators and the side mirrors according to the extraction of the traveling direction of the vehicle; 상기 기울기의 변화가 차선의 복귀로 판단되면 방향 지시등의 작동을 오프 시킴과 동시에 사이드 미러를 원래의 위치로 복원시키는 과정을 포함하는 것을 특징으로 하는 영상 인식을 이용한 차선 변경 감지방법.And turning off the direction indicator and restoring the side mirror to its original position when the change of the slope is determined to be the return of the lane. 제1항에 있어서, The method of claim 1, 상기 입력되는 영상으로부터의 차선 인식은 흑백화 처리된 영상에서 전체 밝기 보다 어두워 노이즈로 동작할 수 있는 부분을 제거하고, 도로의 밝기값을 평균화하는 단계;Lane recognition from the input image may include removing a portion of the black and white processed image that is darker than the overall brightness and may operate as noise, and averaging the brightness value of the roadway; 필터링 처리를 통해 차선 부분을 돋보이게 처리하는 단계;Processing the lane portion to stand out through a filtering process; 필터링 처리된 영상을 역원근법을 이용하여 위에서 본 것 같은 영상으로 변환하는 단계;Converting the filtered image into an image as seen from above using an inverse perspective; 영상의 계산시간 단축을 위하여 설정된 소정의 비율로 압축시키는 단계;Compressing the image at a predetermined ratio to shorten the calculation time of the image; 차선의 기울기를 추출하여 차량의 진행 방향을 추출하는 단계;Extracting a direction of the vehicle by extracting a slope of a lane; 차선의 변경에 대한 기준이 되는 오프셋을 추출하는 단계 및;Extracting an offset as a reference for the lane change; 상기 차선의 기울기로부터 추출되는 차량의 진행 방향과 오프셋의 비교를 통해 차선 변경 여부를 판독하는 단계를 포함하는 것을 특징으로 하는 영상 인식을 이용한 차선 변경 감지방법.And detecting the lane change by comparing the driving direction and the offset of the vehicle extracted from the slope of the lane. 제1항에 있어서,The method of claim 1, 상기 영상 처리에서 영상의 밝은 곳을 이진화하여 도로의 곡률을 추출하는 것을 특징으로 하는 영상 인식을 이용한 차선 변경 감지방법.And detecting the curvature of the road by binarizing the bright spot of the image in the image processing. 제1항에 있어서, The method of claim 1, 차선이 없는 교차로에서의 진행 방향의 변경은 감속도에 대한 정보와 차선 변경의 기울기를 바탕으로 진행 방향을 추출하고, 설정된 도로 곡률의 한계값 비교를 통해 방향 전환을 인식하는 것을 특징으로 하는 영상 인식을 이용한 차선 변경 감지방법.Changing the direction of travel at an intersection without lanes extracts the direction of travel based on the information on the deceleration and the slope of the lane change, and recognizes the change of direction by comparing the threshold value of the set road curvature. Lane change detection method using.
KR1020040026825A 2004-04-19 2004-04-19 Method for a traffic line recognition of using image on vehicle KR100588563B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040026825A KR100588563B1 (en) 2004-04-19 2004-04-19 Method for a traffic line recognition of using image on vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040026825A KR100588563B1 (en) 2004-04-19 2004-04-19 Method for a traffic line recognition of using image on vehicle

Publications (2)

Publication Number Publication Date
KR20050101726A true KR20050101726A (en) 2005-10-25
KR100588563B1 KR100588563B1 (en) 2006-06-14

Family

ID=37280104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040026825A KR100588563B1 (en) 2004-04-19 2004-04-19 Method for a traffic line recognition of using image on vehicle

Country Status (1)

Country Link
KR (1) KR100588563B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252015B1 (en) * 2012-08-16 2013-04-09 주식회사 피엘케이 테크놀로지 Navigation system for judging route change of vehicle
KR101356203B1 (en) * 2008-07-07 2014-01-24 현대자동차주식회사 Aytomomous travelling controll system
WO2014047250A1 (en) * 2012-09-20 2014-03-27 Google Inc. Detecting road weather conditions
KR20150080834A (en) * 2014-01-02 2015-07-10 엘지전자 주식회사 Driver assistance apparatus and Vehicle including the same
US9110196B2 (en) 2012-09-20 2015-08-18 Google, Inc. Detecting road weather conditions
US9499172B2 (en) 2012-09-20 2016-11-22 Google Inc. Detecting road weather conditions
KR101702888B1 (en) * 2015-10-12 2017-02-06 현대자동차주식회사 Vehicle view angle controlling apparatus, vehicle having the same and vehicle view angle controlling method
KR20210031163A (en) * 2019-09-11 2021-03-19 한국도로공사 Apparatus and Method for detecting traffic path based on road object recognition

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361599B1 (en) * 2011-09-30 2014-02-25 성균관대학교산학협력단 Driable area providindg apparatus, method and system
KR101464883B1 (en) 2013-06-19 2014-11-25 주식회사 만도 System and method of preventing collision in vehicle using yew rate

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356203B1 (en) * 2008-07-07 2014-01-24 현대자동차주식회사 Aytomomous travelling controll system
KR101252015B1 (en) * 2012-08-16 2013-04-09 주식회사 피엘케이 테크놀로지 Navigation system for judging route change of vehicle
WO2014027718A1 (en) * 2012-08-16 2014-02-20 주식회사 피엘케이 테크놀로지 Navigation system which detects change in vehicle route
US9568327B2 (en) 2012-08-16 2017-02-14 Plk Technologies Navigation system for determining route change of vehicle
WO2014047250A1 (en) * 2012-09-20 2014-03-27 Google Inc. Detecting road weather conditions
US9110196B2 (en) 2012-09-20 2015-08-18 Google, Inc. Detecting road weather conditions
US9499172B2 (en) 2012-09-20 2016-11-22 Google Inc. Detecting road weather conditions
KR20150080834A (en) * 2014-01-02 2015-07-10 엘지전자 주식회사 Driver assistance apparatus and Vehicle including the same
KR101702888B1 (en) * 2015-10-12 2017-02-06 현대자동차주식회사 Vehicle view angle controlling apparatus, vehicle having the same and vehicle view angle controlling method
US10086764B2 (en) 2015-10-12 2018-10-02 Hyundai Motor Company Apparatus and method for controlling a viewing angle for a vehicle, and a vehicle including the apparatus
KR20210031163A (en) * 2019-09-11 2021-03-19 한국도로공사 Apparatus and Method for detecting traffic path based on road object recognition

Also Published As

Publication number Publication date
KR100588563B1 (en) 2006-06-14

Similar Documents

Publication Publication Date Title
JP6416293B2 (en) Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car
JP4321821B2 (en) Image recognition apparatus and image recognition method
JP4650079B2 (en) Object detection apparatus and method
JP3925488B2 (en) Image processing apparatus for vehicle
JP6453192B2 (en) Image recognition processing apparatus and program
EP2741256B1 (en) Moving body detection device and method
US9257045B2 (en) Method for detecting a traffic lane by means of a camera
WO2013011952A1 (en) Traffic lane recognition apparatus
CN101135558A (en) Vehicle anti-collision early warning method and apparatus based on machine vision
WO2007111220A1 (en) Road division line detector
JP3015875B2 (en) Method and apparatus for detecting lane departure during driving
JP2005309797A (en) Warning device for pedestrian
KR100588563B1 (en) Method for a traffic line recognition of using image on vehicle
JP4913101B2 (en) Road shape detection device for vehicles
JPH08138036A (en) Preceding vehicle recognition device
JP2010262437A (en) Navigation device, and method and program for deciding own vehicle travelling lane
JP2005182753A (en) Vehicle driving assisting apparatus
JP2010061375A (en) Apparatus and program for recognizing object
JP2007200191A (en) Lane detection device and lane deviation warning device
JP4321410B2 (en) Object detection apparatus and method
JP4075800B2 (en) White line detector
JP4324179B2 (en) Information provision device
KR20140087622A (en) Method of extracting traffic lanes from captured image using brightness
KR100383538B1 (en) Method and system for warning departure of traffic lane
JP2005267030A (en) Pedestrian outline extraction method and pedestrian outline extraction device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130531

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150529

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190528

Year of fee payment: 14