KR20100032005A - A system for offering a front/side image with a lane expression - Google Patents

A system for offering a front/side image with a lane expression Download PDF

Info

Publication number
KR20100032005A
KR20100032005A KR1020080090942A KR20080090942A KR20100032005A KR 20100032005 A KR20100032005 A KR 20100032005A KR 1020080090942 A KR1020080090942 A KR 1020080090942A KR 20080090942 A KR20080090942 A KR 20080090942A KR 20100032005 A KR20100032005 A KR 20100032005A
Authority
KR
South Korea
Prior art keywords
image
lane
top view
vehicle
driving
Prior art date
Application number
KR1020080090942A
Other languages
Korean (ko)
Other versions
KR101428094B1 (en
Inventor
이중렬
이병준
정교영
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020080090942A priority Critical patent/KR101428094B1/en
Publication of KR20100032005A publication Critical patent/KR20100032005A/en
Application granted granted Critical
Publication of KR101428094B1 publication Critical patent/KR101428094B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A system for providing side/back image, which displays lane is provided to offer vehicle image with lane displayed on a side/back camera image. CONSTITUTION: A front camera unit(20) photographs front camera image of a vehicle. A side and back camera units(23,24) photographs side and back camera images of the vehicle. A controller(21) generates lane information through front camera image photographed by the front camera unit. The controller displays lane region using lane information. A display unit(22) provides side and back camera image for a driver.

Description

차선이 표시된 측방/후방 영상 제공 시스템{A SYSTEM FOR OFFERING A FRONT/SIDE IMAGE WITH A LANE EXPRESSION}Side-by-side image providing system with lanes {A SYSTEM FOR OFFERING A FRONT / SIDE IMAGE WITH A LANE EXPRESSION}

본 문서는 차선이 표시된 차량영상에 관한 것으로 보다 구체적으로 차량의 전방 카메라를 이용하는 차선인식을 통해 차선이 표시된 차량영상을 제공하는 것과 관련된다.This document relates to a vehicle image in which a lane is displayed, and more particularly, to providing a vehicle image in which a lane is displayed through lane recognition using a front camera of a vehicle.

최근 차량의 후방/측방을 모니터링 하기 위해 카메라가 부분적으로 적용되고 있는 추세이며, 향후에는 차량용 카메라가 사이드 미러와 룸 미러를 대체하는 시기가 올 것으로 예상된다.Recently, the camera is partially applied to monitor the rear / side of the vehicle, and it is expected that the vehicle camera will replace the side mirror and the room mirror in the future.

도 1은 야간 주행 상황에서의 사이드 미러, 측방 카메라 영상, 후방 카메라 영상을 나타낸다.1 illustrates a side mirror, a side camera image, and a rear camera image in a night driving situation.

야간 주행 상황에서 후방/측방 카메라를 통해 모니터링 되는 후방/측방 카메라 영상(11, 12)을 확인해 보면 차량의 헤드램프 밝기 때문에 상대 차량의 위치가 운전자 주행 차선 대비 인접한 차선에 위치하고 있는지 혹은 운전자 주행차선 내에 위치하고 있는지 분간하기 어렵다. 이러한 문제점은 후방/측방 카메라를 사용하지 않는 상황, 즉 현 차량에 적용되어 있는 사이드 미러(10)나 룸 미러를 통해 상대 차량을 모니터링 할 때도 발생하는 것으로 확인된다.Checking the rear / side camera images (11, 12) monitored by the rear / side cameras at night driving conditions, it is determined that the position of the other vehicle is located in the lane adjacent to the driver's driving lane or within the driving lane due to the headlamp brightness of the vehicle. It is hard to tell if it is located. This problem is confirmed to occur even when monitoring the other vehicle through the side mirror 10 or the room mirror that is not used in the rear / side camera, that is applied to the current vehicle.

이와 같이 야간 주행 상황에서 어둡기 때문에 차선 인식이 어려울 뿐만 아니라, 상대차량의 헤드램프 밝기로 인해 카메라 영상 및 미러에 주변 번짐 현상 발생하기 때문에 주변 차량 인식이 매우 어려운 문제가 있다. 그리고, 이와 같은 현상은 운전자의 차선에 대한 상대차량 위치 판단이 모호하게 하고, 운전자에게 차선변경에 대한 부담감을 주는 상황을 초래하게 될 것이다.As such, it is difficult to recognize a lane because it is dark in a night driving situation, and a surrounding blur phenomenon occurs in a camera image and a mirror due to the headlamp brightness of a relative vehicle. In addition, this phenomenon may cause a situation in which the relative vehicle position determination of the driver's lane is ambiguous and gives the driver a burden for changing the lane.

본 문서는 상술한 배경기술에 있어서, 차량의 전방 카메라를 이용하여 차선을 인식하고 이 차선 인식을 통해 측방/후방 카메라 영상에도 차선이 표시된 차량영상을 제공하는 것을 해결 과제로 한다.In the above-described background art, it is a problem to provide a vehicle image in which a lane is displayed on the side / rear camera image through the lane recognition by using the front camera of the vehicle.

상술한 과제를 해결하기 위한 일 수단으로서의 차선이 표시된 측방/후방 영상 제공 시스템은, 차량의 전방 카메라 영상을 촬영하기 위한 전방 카메라부, 상기 차량의 측방 또는 후방 카메라 영상을 촬영하기 위한 카메라부, 상기 전방 카메라부에서 촬영되는 전방 카메라 영상을 통해 차선 정보를 생성하고, 상기 차선 정보를 이용하여 상기 측방 또는 후방 카메라 영상에 차선 영역을 표시하는 제어부 및 상기 차선 영역이 표시된 측방 또는 후방 카메라 영상을 운전자에게 제공하는 디스플레이부를 포함한다.The side / rear image providing system displaying a lane as a means for solving the above-described problems includes a front camera unit for photographing a front camera image of a vehicle, a camera unit for photographing a side or rear camera image of the vehicle, and The driver generates a lane information from the front camera image captured by the front camera unit, and displays a lane area on the side or rear camera image by using the lane information and a side or rear camera image on which the lane area is displayed. It provides a display unit.

상기 측방 또는 후방 카메라 영상이, 좌측방 영상인 경우 상기 차량의 주행 차선 영역의 좌측 차선 영역이 표시되고, 우측방 영상인 경우 상기 차량의 주행 차선 영역의 우측 차선 영역이 표시되고, 후방 영상인 경우 상기 주행 차선 영역이 표시될 수 있다.When the side or rear camera image is a left side image, the left lane region of the driving lane region of the vehicle is displayed, and when the right side image is the right lane region of the driving lane region of the vehicle, the rear image is displayed. The driving lane area may be displayed.

상기 제어부는, 상기 전방 카메라 영상에 탑뷰 변환이 수행되어 생성되는 탑뷰 주행 차선에 대한 상기 차선 정보를, 상기 측방 또는 후방 카메라 영상이 탑뷰 변환된 측방 또는 후방 탑뷰 영상에 적용한 후, 상기 측방 또는 후방 탑뷰 영상 을 다시 원영상으로 뷰변환하여 제공할 수 있다.The control unit may apply the lane information on the top view driving lane generated by performing the top view transformation on the front camera image to the side or rear top view image of which the side or rear camera image is top view converted, and then the side or rear top view image. The image can be converted back to the original image and provided.

상기 탑뷰 주행 차선에 대한 차선 정보는, 상기 전방 카메라부에 대한 카메라 파라미터를 추출하여 탑뷰에 해당하는 영상좌표를 구할 수 있는 탑뷰 룩업테이블을 이용하여 생성될 수 있다.Lane information on the top-view driving lane may be generated by using a top-view lookup table that extracts camera parameters of the front camera unit and obtains image coordinates corresponding to the top-view.

상기 차선 정보는, 예측시간(T)만큼 지연되어 상기 측방 또는 후방 카메라 영상에 적용되고, 상기 예측시간(T)은, 상기 차량으로부터의 기설정된 예측거리(L)를 상기 차량의 현속도(V)로 나누어 결정되고, 상기 예측거리(L)는 상기 전방주행차선이 추출되는 예측지점과 상기 차량 사이의 거리가 될 수 있다.The lane information is delayed by a predicted time T and applied to the side or rear camera image, and the predicted time T corresponds to a preset predicted distance L from the vehicle. It is determined by dividing by), and the prediction distance L may be a distance between the prediction point from which the driving lane is extracted and the vehicle.

상기 차선 영역은, 상기 전방 카메라 영상을 통해 인식되는 차선의 차선폭을 기준으로 설정될 수 있다.The lane area may be set based on a lane width of a lane recognized through the front camera image.

상기 차선이 표시된 측방 또는 후방 카메라 영상은 야간 주행 상황 예를 들어, 상기 차량의 헤드램프가 켜진 상황에서 운전자에게 제공될 수 있다. The side or rear camera image in which the lane is displayed may be provided to the driver in a night driving situation, for example, when the headlamp of the vehicle is turned on.

본 발명에 따르면, 전방/측방/후방 카메라 중 적어도 하나의 카메라 특히 측방/후방 카메라에 대한 촬영 영상을 운전자에게 제공할 때 차선이 표시된 카메라 영상을 제공할 수 있는 효과가 있다. According to the present invention, there is an effect of providing a camera image in which a lane is displayed when providing the driver with a captured image of at least one of the front / side / rear cameras, particularly the side / rear camera.

또한, 사이드 미러 대체 측방 카메라, 또는 룸미러 대체 후방 카메라가 적용되어 차량의 측방 및 후방 주변 정보를 영상정보를 통해 운전자가 모니터링 함에 있어서, 차선이 표시된 영상을 이용할 수 있는 효과가 있다.In addition, the side mirror replacement side camera, or the room mirror replacement rear camera is applied to the driver to monitor the side and rear peripheral information of the vehicle through the image information, there is an effect that can use the image marked with the lane.

또한, 이러한 차선이 표시되는 카메라 영상을 통해서 야간 주행 상황에서도 차선을 분명하게 확인할 수 있으며 측방/후방에서 주행하는 상대차량과 운전자 차량의 위치관계를 쉽게 파악할 수 있는 효과가 있다.In addition, it is possible to clearly identify the lane even in a night driving situation through the camera image in which the lane is displayed, and it is possible to easily determine the positional relationship between the relative vehicle and the driver vehicle traveling in the side / rear.

이로써 야간 주행 상황에서도 운전자의 차선변경에 대한 부담감을 경감해 줄 수 있고 야간 주행 상황에서 발생할 수 있는 사고 위험을 줄이는 효과가 있다.As a result, it is possible to reduce the burden on the driver's lane change even in a night driving situation and to reduce the risk of an accident that may occur in the night driving situation.

또한, 차량의 헤드램프의 켜지거나 꺼진 상황을 통해서 야간 주행 상황임을 인식하고, 이러한 야간 주행 상황에서만 차선이 표시되도록 선택적으로 적용하여 데이터 처리 속도를 유동적으로 조절할 수 있다.In addition, the driver may recognize that the vehicle is in the night driving state through the on / off state of the headlamp of the vehicle, and may selectively adjust the data processing speed by selectively applying the lane to display the lane only in the night driving state.

이하 도면을 참조하여 차량의 전방 카메라를 이용하여 차선을 인식하고 이 차선 인식을 통해 측방/후방 카메라 영상에도 차선이 표시된 차량영상을 제공하는 것에 대한 본 발명의 실시예들을 구체적으로 설명하도록 한다.Hereinafter, embodiments of the present disclosure will be described in detail with respect to providing a vehicle image in which a lane is displayed in a side / rear camera image through the lane recognition by using the front camera of the vehicle.

도 2는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공하는 시스템을 나타내는 도면이다.2 is a diagram illustrating a system for providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

본 실시예는 영상센서를 이용하여 주간 및 야간의 전방 주행 영상으로부터 차선을 검출할 수 있는 예를 들어, 차선이탈경보장치(LDWS: Lane Deviation Warning System) 및/또는 차선유지지원시스템(LKAS: Lane Keeping Assist System) 등이 장착되어 있음을 가정할 수 있다.In the present embodiment, for example, a lane departure warning system (LDWS) and / or a lane maintenance support system (LKAS: Lane) capable of detecting a lane from a front driving image of day and night using an image sensor. It can be assumed that a Keeping Assist System is installed.

도 2를 참조하면, 본 실시예에 따르면 전방 카메라부(20)를 통해 촬영되는 전방 카메라 영상을 이용해서 제어부(21)는 전방주행차선을 인식한다. 그리고, 제어부(21)는 전방 카메라 영상, 측방 카메라부(23) 및/또는 후방 카메라부(24)를 통 해 촬영되는 측방 또는 후방 카메라 영상에 전방주행차선을 적용하고, 디스플레이부(22)를 통해 운전자에게 차선이 표시된 측방 카메라 영상(25) 및/또는 후방 카메라 영상(26)을 제공한다. Referring to FIG. 2, according to the present exemplary embodiment, the controller 21 recognizes a forward driving lane by using a front camera image captured by the front camera unit 20. The controller 21 applies the front driving lane to the lateral or rear camera image photographed through the front camera image, the side camera unit 23, and / or the rear camera unit 24, and controls the display unit 22. The driver may be provided with a lateral camera image 25 and / or a rear camera image 26 in which lanes are displayed.

한편, 본 실시예의 적용에 있어서, 차량의 헤드램프의 켜지거나 꺼진 상황을 통해서 야간 주행 상황임을 인식하고, 이러한 야간 주행 상황에서만 차선이 표시되도록 선택적으로 적용할 수도 있을 것이다.On the other hand, in the application of the present embodiment, it may be recognized that the night driving situation through the on or off situation of the headlamp of the vehicle, it may be selectively applied so that the lane is displayed only in this night driving situation.

본 실시예에 따르면 운전자가 인지할 수 있는 모니터링 성능을 향상시켜 운전자가 디스플레이되고 있는 상대 차량 위치가 운전자 주행차선 대비 어디에 위치하고 있는지를 확인 가능하다.According to the present exemplary embodiment, the monitoring performance that can be recognized by the driver may be improved to determine where the relative vehicle position displayed by the driver is located relative to the driver driving lane.

도 3은 본 발명의 일 실시예에 따른 차선이 표시된 차량영상을 제공하는 방법의 동작을 나타내는 흐름도이다.3 is a flowchart illustrating an operation of a method of providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

도 3을 참조하여 보다 구체적으로 설명하면, 먼저 단계 S30에서 전방 카메라 영상 즉, 전방 주행 영상을 통해서 전방 주행 차선을 추출한다. 그리고, 단계 S31에서 추출된 전방 주행 차선을 탑뷰 룩업테이블(LUT: Look Up Table)을 통해 탑뷰 주행 차선으로 변환한다. 그리고, 단계 S32에서 위 단계 S31에서 변환된 탑뷰 주행 차선에 대한 영상좌표를 예측시간(T)만큼 지연할 수 있다.More specifically, referring to FIG. 3, first, in step S30, the front driving lane is extracted through the front camera image, that is, the front driving image. The front driving lane extracted in step S31 is converted into a top view driving lane through a top view look up table (LUT). In operation S32, the image coordinates of the top view driving lane converted in operation S31 may be delayed by the prediction time T.

한편, 단계 S33에서 측방 카메라 영상과 후방 카메라 영상을 뷰변환을 통해 탑뷰 영상으로 변환하고, 단계 S34에서는 위 단계 S32에서 생성되는 예측시간(T)만큼 지연된 탑뷰 주행 차선의 영상좌표를 위 단계 S33에서 생성되는 측방 탑뷰 영상과 후방 탑뷰 영상에 매칭한다.Meanwhile, in step S33, the side camera image and the rear camera image are converted into the top view image through view transformation, and in step S34, the image coordinates of the top view driving lane delayed by the prediction time T generated in step S32 are replaced in step S33. Matches the generated side top view image and the rear top view image.

그리고, 단계 S35에서 탑뷰 주행 차선의 영상좌표가 매칭된 측방 탑뷰 영상과 후방 탑뷰 영상에 차선 간격을 구현하고, 단계 S36에서 이 차선에 차선 간격까지 적용된 측방 탑뷰 영상과 후방 탑뷰 영상을 뷰변환을 통해 원영상으로 변환하여 운전자에게 디스플레이시켜준다.Then, in step S35, the lane spacing is implemented in the lateral top view image and the rear top view image in which the image coordinates of the top view driving lane are matched. The original image is converted and displayed to the driver.

본 실시예에 따르면, 사이드 미러 대체 측방 카메라, 또는 룸미러 대체 후방 카메라가 적용되어 차량의 측방 및 후방 주변 정보를 영상정보를 통해 운전자가 모니터링 함에 있어서, 차선이 표시된 영상을 이용할 수 있을 것이다.According to the present exemplary embodiment, a side mirror replacement side camera or a room mirror replacement rear camera may be applied to the driver to monitor the side and rear surrounding information of the vehicle through the image information.

물론 본 실시예에서는 측방 카메라 영상과 후방 카메라 영상에 주행 차선을 표시하여 디스플레이하는 경우를 설명하였지만, 측방 카메라 영상과 후방 카메라 영상 중 하나의 영상에만 표시할 수도 있음은 물론이고, 전방 카메라 영상에도 표시하여 디스플레이할 수도 있음은 당연할 것이다.Of course, the present embodiment has been described in which the driving lane is displayed on the side camera image and the rear camera image to be displayed, but it is also possible to display only one image of the side camera image and the rear camera image, as well as the front camera image. Of course, it can be displayed.

도 4는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 전방 주행 영상을 통해 전방주행차선을 추출하는 방법을 설명하기 위한 도면이다.4 is a diagram for describing a method of extracting a driving lane through a driving image in providing a vehicle image in which a lane is displayed according to an exemplary embodiment of the present invention.

먼저 전방 주행 영상이 입력되고(40), 이 전방 주행 영상을 영상처리하여 필터링된 영상을 생성한다(41). 그리고, 이 필터링된 영상에 대해 기하학적인 모델링을 수행하여(42) 차선으로 인식할 수 있는 후보점(44)들을 추출한다(43). 그리고, 이 후보점들(44)을 이용하여 전방주행차선(46)을 인식한다(45). 이때 야간 주행 상황이더라도 헤드램프의 도움으로 전방 주행 영상을 취득하여 주행차선을 인식할 수 있다.First, the front driving image is input (40), and the filtered image is generated by image processing the front driving image (41). Then, geometric modeling is performed on the filtered image (42) to extract candidate points 44 that can be recognized as lanes (43). Then, the forward driving lane 46 is recognized using the candidate points 44 (45). In this case, even in a night driving situation, the driving lane may be recognized by acquiring a front driving image with the help of a headlamp.

도 5 및 도 6은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 전방주행차선을 탑뷰 주행 차선으로 변환하는 방법을 설명하기 위한 도면이다.5 and 6 are views for explaining a method of converting a driving lane into a top view driving lane in providing a vehicle image in which a lane is displayed according to an exemplary embodiment of the present invention.

도 5에 도시된 바와 같이 전방 주행 영상(50)을 통해 추출된 전방 주행 차선(51)을 탑뷰 주행 차선(53)으로 변환한다. 탑뷰 변환시 미리 저장되어 있는 탑뷰 룩업테이블(LUT)을 이용할 수 있다. 탑뷰 룩업테이블은 전방 카메라(상술한 영상센서)의 왜곡 모델을 기반으로 카메라의 파라미터를 추출하고 추출한 파라미터를 변환시켜 탑뷰에 해당하는 영상좌표를 구할 수 있는 룩업테이블을 의미한다. As shown in FIG. 5, the front driving lane 51 extracted through the front driving image 50 is converted into the top view driving lane 53. When storing the top view, the previously stored top view lookup table (LUT) may be used. The top view lookup table refers to a lookup table that can obtain image coordinates corresponding to the top view by extracting camera parameters and converting the extracted parameters based on the distortion model of the front camera (image sensor described above).

도 6에 도시된 바와 같이 싸이 수학적 모델(Tsai Equation)을 이용하여 카메라 파라미터를 단계별로 추출해 낼 수 있다. 카메라 파라미터에는, 카메라의 장착 위치와 관련되는 수직/수평 파라미터(T), 회전 파라미터(R)와 장착된 카메라의 랜즈 특성 즉, 랜즈 왜곡도와 관련되는 초점거리 파라미터(f) 및 왜곡 파라미터(k1, k2, w) 등이 포함될 수 있다. 즉, 본 실시예에 따르면, 상술한 각종 카메라 파라미터를 추출하고, 추출된 카메라 파라미터를 탑뷰 룩업테이블을 통해 탑뷰에 해당하는 영상좌표를 획득함으로써 전방주행차선(51)을 탑뷰 주행 차선(53)으로 변환할 수 있다.As shown in FIG. 6, camera parameters may be extracted step by step using a Tsai Equation. The camera parameters include a vertical / horizontal parameter T related to the mounting position of the camera, a rotation parameter R and a lens length characteristic of the mounted camera, that is, a focal length parameter f related to the lens distortion and a distortion parameter k1, k2, w) and the like. That is, according to the present embodiment, by extracting the above-described various camera parameters, and by acquiring the image coordinates corresponding to the top view through the top view lookup table, the front driving lane 51 to the top view driving lane 53 I can convert it.

도 7은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 탑뷰 주행 차선을 예측시간(T)만큼 지연시켜 측방/후방 탑뷰 영상에 적용하는 방법을 설명하기 위한 도면이다.FIG. 7 is a diagram for describing a method of applying a top view driving lane to a side / rear top view image by delaying a top view driving lane by a prediction time T in providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

주행, 특히 야간 주행 상황에서 측방 및 후방 카메라를 이용해서 차선을 검 출하는 것은 조명 문제로 인해 불가능하므로 전방 카메라를 이용하여 전방 주행 차선을 검출하여야 한다.Detecting lanes using side and rear cameras, especially in night driving situations, is not possible due to lighting problems.

하지만, 차선이탈경보장치(LDWS) 및/또는 차선유지지원시스템(LKAS)을 통해 전방주행차선을 검출한 경우에는 검출한 전방주행차선은 차선이탈경보장치(LDWS) 및/또는 차선유지지원시스템(LKAS)의 현 주행 지점보다 앞선 위치의 예측점(Prediction Point, 70)을 기준으로 하는 예측 영역에서 검출한 것이므로 전방 주행차선을 측방 탑뷰 영상과 후방 탑뷰 영상에 매칭하기 위해서는 시간적인 동기화 작업이 필요하다.However, when the driving lane is detected through the lane departure warning device LDWS and / or the lane keeping support system LKAS, the detected driving lane may be the LDWS and / or lane keeping support system. Since it is detected in the prediction area based on the prediction point 70 at the position ahead of the current driving point of the LKAS, a time synchronization operation is required to match the front driving lane with the side top view image and the rear top view image. .

따라서, 본 실시예에서는 전방 주행 영상을 통해 인식한 전방주행차선 또는 탑뷰 주행 차선을 측방 탑뷰 영상과 후방 탑뷰 영상에 매칭하기 전에 예를 들어, 차선이탈경보장치(LDWS) 및/또는 차선유지지원시스템(LKAS)의 예측시간(T)을 이용하여 동기화한다. 수학식 1은 예측시간(T)을 산출하는 방법의 일례를 나타낸다.Therefore, in the present embodiment, for example, the lane departure warning device (LDWS) and / or the lane keeping support system before matching the driving lane or the top view driving lane recognized through the front driving image to the side top view image and the rear top view image. Synchronize using the prediction time T of (LKAS). Equation 1 shows an example of a method of calculating the prediction time T.

Figure 112008065325733-PAT00001
Figure 112008065325733-PAT00001

수학식 1에 나타낸 바와 같이 예측시간(T)은, 차량으로부터의 기설정된 예측거리(L)를 차량의 현속도(V)로 나누어 결정될 수 있다. 그리고, 예측거리(L)는 전방주행차선이 추출되는 예측지점(70)과 차량 현재위치(71) 사이의 거리(72)로서 미리 설정되는 값이 된다.As shown in Equation 1, the prediction time T may be determined by dividing the predetermined prediction distance L from the vehicle by the current speed V of the vehicle. The predicted distance L is a value which is set in advance as the distance 72 between the predicted point 70 from which the driving lane is extracted and the current position 71 of the vehicle.

도 8은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있 어서, 탑뷰 주행 차선을 측방 카메라 영상과 후방 카메라 영상에 매칭하는 방법을 설명하기 위한 도면이다.FIG. 8 is a diagram for describing a method of matching a top view driving lane to a side camera image and a rear camera image in providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

탑뷰 주행 차선을 측방 카메라 영상과 후방 카메라 영상에 매칭하기 앞서 측방 카메라 영상과 후방 카메라 영상 각각을 측방 탑뷰 영상 및 후방 탑뷰 영상으로 뷰변환한다. 이때 상술한 방법과 마찬가지로 측방/후방 카메라의 왜곡 모델을 기반으로 하여 카메라의 파라미터를 추출하고 추출한 파라미터를 변화시켜 탑뷰 룩업테이블을 통해 뷰변환을 수행할 수 있다.Before the top view driving lane is matched with the side camera image and the rear camera image, the side camera image and the rear camera image are respectively converted into side top view images and rear top view images. In this case, as in the above-described method, the view conversion may be performed through the top view lookup table by extracting the camera parameters and changing the extracted parameters based on the distortion models of the side and rear cameras.

이렇게 탑뷰 영상으로 뷰변환된 후방 탑뷰 영상(80), 좌측방 탑뷰 영상(81) 및 우측방 탑뷰 영상(82)에 전방 카메라 영상을 통해 추출한 탑뷰 주행 차선을 매칭시킨다. The top view driving lanes extracted through the front camera image are matched to the rear top view image 80, the left side top view image 81, and the right side top view image 82 which are converted into the top view image.

한편 후방 카메라와 측방 카메라의 경우 차량의 진행 방향의 반대 방향을 향하여 촬영하기 때문에 영상의 하단이 차량의 진행 방향에 해당된다. 이에 따라 영상의 좌측이 실제 차량의 우측에 해당하게 되고, 영상의 우측이 실제 차량의 좌측에 해당하게 된다. On the other hand, since the rear camera and the side camera are photographed in a direction opposite to the direction in which the vehicle travels, the bottom of the image corresponds to the direction in which the vehicle travels. Accordingly, the left side of the image corresponds to the right side of the actual vehicle, and the right side of the image corresponds to the left side of the actual vehicle.

따라서, 후방 탑뷰 영상(80)에 탑뷰 주행 차선을 매칭시킬 때는 이러한 점을 고려하여 전방 카메라 영상에 기초하여 추출된 탑뷰 주행 차선의 좌측에 표시된 차선은 후방 영상의 우측으로 매칭되고, 탑뷰 주행 차선의 우측에 표시된 차선은 후방 영상의 좌측으로 매칭되어야 할 것이다.Accordingly, when the top view driving lane is matched with the rear top view image 80, the lane displayed on the left side of the top view driving lane extracted based on the front camera image is matched to the right side of the rear image in consideration of this point. The lane displayed on the right side should be matched to the left side of the rear view image.

그리고, 마찬가지로 우측방 탑뷰 영상(81) 및 좌측방 탑뷰 영상(82)에 탑뷰 주행 차선을 매칭시킬 때에도 우측방 탑뷰 영상(81)에는 차량의 우측 차선이 영상 의 오른쪽에 표시되고, 좌측방 탑뷰 영상(82)에는 차량의 좌측 차선이 영상의 왼쪽에 표시되도록 매칭되어야 할 것이다.Similarly, when the top view driving lane is matched to the right top view image 81 and the left top view image 82, the right side view of the vehicle is displayed on the right side of the image on the right top view image 81, and the left top view image is displayed. 82 should be matched so that the left lane of the vehicle is displayed on the left side of the image.

도 9는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 측방 탑뷰 영상과 후방 탑뷰 영상에 탑뷰 주행 차선을 기준으로 차선영역을 표시하는 방법을 설명하기 위한 도면이다.FIG. 9 is a diagram for describing a method of displaying a lane area based on a top view driving lane in a side top view image and a rear top view image in providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

도 9에 도시된 바와 같이 탑뷰 주행 차선을 매칭된 후방 탑뷰 영상(90), 우측방 탑뷰 영상(91) 및 좌측방 탑뷰 영상(92)에 대해 각 영상에 표시된 탑뷰 주행 차선을 기준으로 차선영역을 추가로 표시해 줄 수 있다. 이는 탑뷰 주행 차선의 차선폭을 기준으로 설정될 수 있을 것이다. As shown in FIG. 9, the lane area is determined based on the top view driving lanes displayed in each image for the rear top view image 90, the right side top view image 91, and the left side top view image 92 that match the top view driving lane. Can be displayed additionally. This may be set based on the lane width of the top view driving lane.

후방 탑뷰 영상(90)에 표시되는 차선영역은 현재 차량이 주행하고 있는 차선을 나타낼 것이고, 우측방 탑뷰 영상(91)에 표시되는 차선영역은 현재 차량이 주행하고 있는 차선의 우측 차선을 나타낼 것이며, 좌측방 탑뷰 영상(92)에 표시되는 차선영역은 현재 차량이 주행하고 있는 차선의 좌측 차선을 나타낼 것이다.The lane area displayed on the rear top view image 90 will indicate a lane on which the vehicle is currently driving, and the lane area displayed on the right top view image 91 will indicate the right lane of the lane on which the vehicle is currently driving. The lane area displayed on the left top view image 92 may represent the left lane of the lane in which the vehicle is currently driving.

도 10은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 최종 운전자에게 제공되는 영상을 생성하는 방법을 설명하기 위한 도면이다.FIG. 10 is a diagram for describing a method of generating an image provided to a final driver in providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

도 10에 도시된 바와 같이 탑뷰 주행 차선과 이를 기준으로 하는 차선영역이 표시된 후방 탑뷰 영상, 우측방 탑뷰 영상 및 좌측방 탑뷰 영상 각각은 모두 원영상의 시점으로 다시 뷰변환되어 운전자에게 제공된다.As shown in FIG. 10, each of the rear top view image, the right side top view image, and the left side top view image in which the top view driving lane and the lane area based on the top view driving lane are displayed is reconverted to the viewpoint of the original image and provided to the driver.

예를 들어, 우측방 탑뷰 영상(110)은 탑뷰 주행 차선과 이를 기준으로 하는 차선영역이 표시된 상태에서 원영상으로의 뷰변환이 수행되어 우측 카메라 촬영 시 점에 대한 영상(111)으로 운전자에게 제공된다. 그리고, 후방 탑뷰 영상(112)도 마찬가지로 탑뷰 주행 차선과 이를 기준으로 하는 차선영역이 표시된 상태에서 원영상으로의 뷰변환이 수행되어 후방 카메라 촬영 시점에 대한 영상(113)으로 운전자에게 제공된다. For example, the right-side top view image 110 is converted to the original image while the top view driving lane and the lane area based thereon are displayed, and the driver is provided to the driver as an image 111 for the point of the right camera shooting. do. Similarly, the rear top view image 112 is also provided to the driver as an image 113 of a rear camera photographing time point when the top view driving lane and the lane area based thereon are displayed.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.Although described above with reference to the drawings and embodiments, those skilled in the art that the present invention can be variously modified and changed within the scope without departing from the spirit of the invention described in the claims below I can understand.

도 1은 야간 주행 상황에서의 사이드 미러, 측방 카메라 영상, 후방 카메라 영상을 나타낸다.1 illustrates a side mirror, a side camera image, and a rear camera image in a night driving situation.

도 2는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공하는 방법을 나타내는 도면이다.2 is a diagram illustrating a method of providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 차선이 표시된 차량영상을 제공하는 방법의 동작을 나타내는 흐름도이다.3 is a flowchart illustrating an operation of a method of providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 전방 주행 영상을 통해 전방주행차선을 추출하는 방법을 설명하기 위한 도면이다.4 is a diagram for describing a method of extracting a driving lane through a driving image in providing a vehicle image in which a lane is displayed according to an exemplary embodiment of the present invention.

도 5 및 도 6은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 전방주행차선을 탑뷰 주행 차선으로 변환하는 방법을 설명하기 위한 도면이다.5 and 6 are views for explaining a method of converting a driving lane into a top view driving lane in providing a vehicle image in which a lane is displayed according to an exemplary embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 탑뷰 주행 차선을 예측시간(T)만큼 지연시켜 측방/후방 탑뷰영상에 적용하는 방법을 설명하기 위한 도면이다.FIG. 7 is a diagram for describing a method of applying a top view driving lane to a side / rear top view image by delaying a top view driving lane by a prediction time T in providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 탑뷰 주행 차선을 측방 카메라 영상과 후방 카메라 영상에 매칭하는 방법을 설명하기 위한 도면이다.FIG. 8 is a diagram for describing a method of matching a top view driving lane to a side camera image and a rear camera image in providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있 어서, 측방 탑뷰 영상과 후방 탑뷰 영상에 탑뷰 주행 차선을 기준으로 차선영역을 표시하는 방법을 설명하기 위한 도면이다.FIG. 9 illustrates a method of displaying a lane area based on a top view driving lane in a side top view image and a rear top view image in providing a vehicle image in which a lane is displayed according to an exemplary embodiment of the present invention.

도 10은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 최종 운전자에게 제공되는 영상을 생성하는 방법을 설명하기 위한 도면이다.FIG. 10 is a diagram for describing a method of generating an image provided to a final driver in providing a vehicle image in which a lane is displayed according to an embodiment of the present invention.

Claims (6)

차량의 전방 카메라 영상을 촬영하기 위한 전방 카메라부;A front camera unit for photographing a front camera image of the vehicle; 상기 차량의 측방 또는 후방 카메라 영상을 촬영하기 위한 카메라부;A camera unit for photographing side or rear camera images of the vehicle; 상기 전방 카메라부에서 촬영되는 전방 카메라 영상을 통해 차선 정보를 생성하고, 상기 차선 정보를 이용하여 상기 측방 또는 후방 카메라 영상에 차선 영역을 표시하는 제어부; 및A controller configured to generate lane information from the front camera image photographed by the front camera unit and to display a lane area on the side or rear camera image by using the lane information; And 상기 차선 영역이 표시된 측방 또는 후방 카메라 영상을 운전자에게 제공하는 디스플레이부A display unit for providing a driver with a side or rear camera image showing the lane area 를 포함하는, 차선이 표시된 측방/후방 영상 제공 시스템.Including, the lane is displayed side / rear image providing system. 청구항 1에 있어서,The method according to claim 1, 상기 측방 또는 후방 카메라 영상이, 좌측방 영상인 경우 상기 차량의 주행 차선 영역의 좌측 차선 영역이 표시되고, 우측방 영상인 경우 상기 차량의 주행 차선 영역의 우측 차선 영역이 표시되고, 후방 영상인 경우 상기 주행 차선 영역이 표시되는 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스템.When the side or rear camera image is a left side image, the left lane region of the driving lane region of the vehicle is displayed, and when the right side image is the right lane region of the driving lane region of the vehicle, the rear image is displayed. The side / rear image providing system displaying a lane, wherein the driving lane area is displayed. 청구항 1에 있어서,The method according to claim 1, 상기 제어부는, 상기 전방 카메라 영상에 탑뷰 변환이 수행되어 생성되는 탑뷰 주행 차선에 대한 상기 차선 정보를, 상기 측방 또는 후방 카메라 영상이 탑뷰 변환된 측방 또는 후방 탑뷰 영상에 적용한 후, 상기 측방 또는 후방 탑뷰 영상을 다시 원영상으로 뷰변환하여 제공하는 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스템.The control unit may apply the lane information on the top view driving lane generated by performing the top view transformation on the front camera image to the side or rear top view image of which the side or rear camera image is top view converted, and then the side or rear top view image. A side / rear image providing system displaying a lane, wherein the image is converted into an original image and provided. 청구항 3에 있어서,The method according to claim 3, 상기 탑뷰 주행 차선에 대한 차선 정보는, 상기 전방 카메라부에 대한 카메라 파라미터를 추출하여 탑뷰에 해당하는 영상좌표를 구할 수 있는 탑뷰 룩업테이블을 이용하여 생성되는 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스템.Lane information on the top-view driving lane is generated by using a top-view lookup table that extracts camera parameters for the front camera unit and obtains image coordinates corresponding to the top-view. Image Provision System. 청구항 1에 있어서,The method according to claim 1, 상기 차선 정보는, 예측시간(T)만큼 지연되어 상기 측방 또는 후방 카메라 영상에 적용되고, 상기 예측시간(T)은, 상기 차량으로부터의 기설정된 예측거리(L)를 상기 차량의 현속도(V)로 나누어 결정되고, 상기 예측거리(L)는 상기 전방주행차선이 추출되는 예측지점과 상기 차량 사이의 거리인 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스템.The lane information is delayed by a prediction time T and applied to the side or rear camera image, and the prediction time T corresponds to a preset prediction distance L from the vehicle. Is determined by dividing by), and the prediction distance L is a distance between the prediction point from which the driving lane is extracted and the vehicle. 청구항 1에 있어서,The method according to claim 1, 상기 차선 영역은, 상기 전방 카메라 영상을 통해 인식되는 차선의 차선폭을 기준으로 설정되는 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스 템.And the lane area is set based on the lane width of the lane recognized through the front camera image.
KR1020080090942A 2008-09-17 2008-09-17 A system for offering a front/side image with a lane expression KR101428094B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080090942A KR101428094B1 (en) 2008-09-17 2008-09-17 A system for offering a front/side image with a lane expression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080090942A KR101428094B1 (en) 2008-09-17 2008-09-17 A system for offering a front/side image with a lane expression

Publications (2)

Publication Number Publication Date
KR20100032005A true KR20100032005A (en) 2010-03-25
KR101428094B1 KR101428094B1 (en) 2014-08-07

Family

ID=42181355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080090942A KR101428094B1 (en) 2008-09-17 2008-09-17 A system for offering a front/side image with a lane expression

Country Status (1)

Country Link
KR (1) KR101428094B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103661103A (en) * 2012-09-03 2014-03-26 现代摩比斯株式会社 Front image providing method and display device
KR101697229B1 (en) * 2015-08-27 2017-01-18 ㈜베이다스 Automatic calibration apparatus based on lane information for the vehicle image registration and the method thereof
KR20170133756A (en) * 2016-05-26 2017-12-06 현대자동차주식회사 System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image
JP2019129417A (en) * 2018-01-25 2019-08-01 クラリオン株式会社 Display control apparatus and display system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190389385A1 (en) * 2018-06-25 2019-12-26 Ford Global Technologies, Llc Overlay interfaces for rearview mirror displays
KR20210005439A (en) 2019-07-05 2021-01-14 현대자동차주식회사 Advanced Driver Assistance System, Vehicle having the same and method for controlling the vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035143A (en) * 2002-10-18 2004-04-29 현대모비스 주식회사 Apparatus for monitoring front-side and rear-side of vehicle
KR100644813B1 (en) * 2005-02-28 2006-11-14 이주성 a safety device for traveling of car and driving method its

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103661103A (en) * 2012-09-03 2014-03-26 现代摩比斯株式会社 Front image providing method and display device
CN103661103B (en) * 2012-09-03 2015-12-09 现代摩比斯株式会社 Front image supplying method and read out instrument
KR101697229B1 (en) * 2015-08-27 2017-01-18 ㈜베이다스 Automatic calibration apparatus based on lane information for the vehicle image registration and the method thereof
KR20170133756A (en) * 2016-05-26 2017-12-06 현대자동차주식회사 System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image
JP2019129417A (en) * 2018-01-25 2019-08-01 クラリオン株式会社 Display control apparatus and display system
CN111656775A (en) * 2018-01-25 2020-09-11 歌乐株式会社 Display control device and display system
CN111656775B (en) * 2018-01-25 2022-04-29 歌乐株式会社 Display control device and display system
US11450040B2 (en) 2018-01-25 2022-09-20 Clarion Co., Ltd. Display control device and display system

Also Published As

Publication number Publication date
KR101428094B1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
JP5435307B2 (en) In-vehicle camera device
KR102404149B1 (en) Driver assistance system and method for object detection and notification
KR20100032005A (en) A system for offering a front/side image with a lane expression
JP2013005234A5 (en)
JP2008230296A (en) Vehicle drive supporting system
JP6218089B2 (en) Imaging position determination device and imaging position determination method
US10965872B2 (en) Image display apparatus
JP5948170B2 (en) Information display device, information display method, and program
KR20090109437A (en) Method and System for Image Matching While Driving Vehicle
JP2010044561A (en) Monitoring device to be mounted on vehicle
JP2012027773A (en) Pseudo grayscale image generation device and program
KR20150018927A (en) Apparatus for storaging image of camera at night and method for storaging image thereof
JP2008004989A (en) Vehicle perimeter display apparatus
JP2018013386A (en) Display control unit for vehicle, display system for vehicle, display control method for vehicle, and program
JP2017154613A (en) Display device for vehicle
JP2017212633A (en) Imaging apparatus, imaging display method and imaging display program
KR101709009B1 (en) System and method for compensating distortion of around view
JP2019080189A (en) Vehicle display control apparatus, vehicle display system, vehicle display control method, and program
KR101628931B1 (en) Method and apparatus for controlling view angle of blackbox
JP2017200035A (en) Vehicle display control device, vehicle display system, vehicle display control method, and program
KR101750160B1 (en) System and method for eliminating noise of around view
EP3545489B1 (en) Imaging system for a vehicle and method for obtaining an anti-flickering super-resolution image
US20160321509A1 (en) Image processing device, warning device and method for processing image
US20200039437A1 (en) Image processing device
JP5911623B1 (en) Detection device and detection method for road joints

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 6