KR101428094B1 - 차선이 표시된 측방/후방 영상 제공 시스템 - Google Patents

차선이 표시된 측방/후방 영상 제공 시스템 Download PDF

Info

Publication number
KR101428094B1
KR101428094B1 KR1020080090942A KR20080090942A KR101428094B1 KR 101428094 B1 KR101428094 B1 KR 101428094B1 KR 1020080090942 A KR1020080090942 A KR 1020080090942A KR 20080090942 A KR20080090942 A KR 20080090942A KR 101428094 B1 KR101428094 B1 KR 101428094B1
Authority
KR
South Korea
Prior art keywords
image
lane
vehicle
top view
camera
Prior art date
Application number
KR1020080090942A
Other languages
English (en)
Other versions
KR20100032005A (ko
Inventor
이중렬
이병준
정교영
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020080090942A priority Critical patent/KR101428094B1/ko
Publication of KR20100032005A publication Critical patent/KR20100032005A/ko
Application granted granted Critical
Publication of KR101428094B1 publication Critical patent/KR101428094B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

본 문서는 차량의 전방 카메라를 이용하여 차선을 인식하고 이 차선 인식을 통해 측방/후방 카메라 영상에도 차선이 표시된 차량영상을 제공하는 시스템에 관한 것이다. 이러한 차선이 표시된 측방/후방 영상 제공 시스템에 따르면, 야간 주행 상황에서도 측방/후방 상대 차량의 헤드램프의 밝기로 인한 주변 번짐 현상으로 측방/후방 상대차량과 운전자 차량간 위치 관계가 모호하게 인식되는 문제점을 해소할 수 있어 주변 차량에 대한 모니터링 성능이 개선되는 효과가 있다.
측/후방 카메라 영상, 야간 주행, 차선 표시

Description

차선이 표시된 측방/후방 영상 제공 시스템{A SYSTEM FOR OFFERING A FRONT/SIDE IMAGE WITH A LANE EXPRESSION}
본 문서는 차선이 표시된 차량영상에 관한 것으로 보다 구체적으로 차량의 전방 카메라를 이용하는 차선인식을 통해 차선이 표시된 차량영상을 제공하는 것과 관련된다.
최근 차량의 후방/측방을 모니터링 하기 위해 카메라가 부분적으로 적용되고 있는 추세이며, 향후에는 차량용 카메라가 사이드 미러와 룸 미러를 대체하는 시기가 올 것으로 예상된다.
도 1은 야간 주행 상황에서의 사이드 미러, 측방 카메라 영상, 후방 카메라 영상을 나타낸다.
야간 주행 상황에서 후방/측방 카메라를 통해 모니터링 되는 후방/측방 카메라 영상(11, 12)을 확인해 보면 차량의 헤드램프 밝기 때문에 상대 차량의 위치가 운전자 주행 차선 대비 인접한 차선에 위치하고 있는지 혹은 운전자 주행차선 내에 위치하고 있는지 분간하기 어렵다. 이러한 문제점은 후방/측방 카메라를 사용하지 않는 상황, 즉 현 차량에 적용되어 있는 사이드 미러(10)나 룸 미러를 통해 상대 차량을 모니터링 할 때도 발생하는 것으로 확인된다.
이와 같이 야간 주행 상황에서 어둡기 때문에 차선 인식이 어려울 뿐만 아니라, 상대차량의 헤드램프 밝기로 인해 카메라 영상 및 미러에 주변 번짐 현상 발생하기 때문에 주변 차량 인식이 매우 어려운 문제가 있다. 그리고, 이와 같은 현상은 운전자의 차선에 대한 상대차량 위치 판단이 모호하게 하고, 운전자에게 차선변경에 대한 부담감을 주는 상황을 초래하게 될 것이다.
본 문서는 상술한 배경기술에 있어서, 차량의 전방 카메라를 이용하여 차선을 인식하고 이 차선 인식을 통해 측방/후방 카메라 영상에도 차선이 표시된 차량영상을 제공하는 것을 해결 과제로 한다.
상술한 과제를 해결하기 위한 일 수단으로서의 차선이 표시된 측방/후방 영상 제공 시스템은, 차량의 전방 카메라 영상을 촬영하기 위한 전방 카메라부, 상기 차량의 측방 또는 후방 카메라 영상을 촬영하기 위한 카메라부, 상기 전방 카메라부에서 촬영되는 전방 카메라 영상을 통해 차선 정보를 생성하고, 상기 차선 정보를 이용하여 상기 측방 또는 후방 카메라 영상에 차선 영역을 표시하는 제어부 및 상기 차선 영역이 표시된 측방 또는 후방 카메라 영상을 운전자에게 제공하는 디스플레이부를 포함한다.
상기 측방 또는 후방 카메라 영상이, 좌측방 영상인 경우 상기 차량의 주행 차선 영역의 좌측 차선 영역이 표시되고, 우측방 영상인 경우 상기 차량의 주행 차선 영역의 우측 차선 영역이 표시되고, 후방 영상인 경우 상기 주행 차선 영역이 표시될 수 있다.
상기 제어부는, 상기 전방 카메라 영상에 탑뷰 변환이 수행되어 생성되는 탑뷰 주행 차선에 대한 상기 차선 정보를, 상기 측방 또는 후방 카메라 영상이 탑뷰 변환된 측방 또는 후방 탑뷰 영상에 적용한 후, 상기 측방 또는 후방 탑뷰 영상 을 다시 원영상으로 뷰변환하여 제공할 수 있다.
상기 탑뷰 주행 차선에 대한 차선 정보는, 상기 전방 카메라부에 대한 카메라 파라미터를 추출하여 탑뷰에 해당하는 영상좌표를 구할 수 있는 탑뷰 룩업테이블을 이용하여 생성될 수 있다.
상기 차선 정보는, 예측시간(T)만큼 지연되어 상기 측방 또는 후방 카메라 영상에 적용되고, 상기 예측시간(T)은, 상기 차량으로부터의 기설정된 예측거리(L)를 상기 차량의 현속도(V)로 나누어 결정되고, 상기 예측거리(L)는 상기 전방주행차선이 추출되는 예측지점과 상기 차량 사이의 거리가 될 수 있다.
상기 차선 영역은, 상기 전방 카메라 영상을 통해 인식되는 차선의 차선폭을 기준으로 설정될 수 있다.
상기 차선이 표시된 측방 또는 후방 카메라 영상은 야간 주행 상황 예를 들어, 상기 차량의 헤드램프가 켜진 상황에서 운전자에게 제공될 수 있다.
본 발명에 따르면, 전방/측방/후방 카메라 중 적어도 하나의 카메라 특히 측방/후방 카메라에 대한 촬영 영상을 운전자에게 제공할 때 차선이 표시된 카메라 영상을 제공할 수 있는 효과가 있다.
또한, 사이드 미러 대체 측방 카메라, 또는 룸미러 대체 후방 카메라가 적용되어 차량의 측방 및 후방 주변 정보를 영상정보를 통해 운전자가 모니터링 함에 있어서, 차선이 표시된 영상을 이용할 수 있는 효과가 있다.
또한, 이러한 차선이 표시되는 카메라 영상을 통해서 야간 주행 상황에서도 차선을 분명하게 확인할 수 있으며 측방/후방에서 주행하는 상대차량과 운전자 차량의 위치관계를 쉽게 파악할 수 있는 효과가 있다.
이로써 야간 주행 상황에서도 운전자의 차선변경에 대한 부담감을 경감해 줄 수 있고 야간 주행 상황에서 발생할 수 있는 사고 위험을 줄이는 효과가 있다.
또한, 차량의 헤드램프의 켜지거나 꺼진 상황을 통해서 야간 주행 상황임을 인식하고, 이러한 야간 주행 상황에서만 차선이 표시되도록 선택적으로 적용하여 데이터 처리 속도를 유동적으로 조절할 수 있다.
이하 도면을 참조하여 차량의 전방 카메라를 이용하여 차선을 인식하고 이 차선 인식을 통해 측방/후방 카메라 영상에도 차선이 표시된 차량영상을 제공하는 것에 대한 본 발명의 실시예들을 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공하는 시스템을 나타내는 도면이다.
본 실시예는 영상센서를 이용하여 주간 및 야간의 전방 주행 영상으로부터 차선을 검출할 수 있는 예를 들어, 차선이탈경보장치(LDWS: Lane Deviation Warning System) 및/또는 차선유지지원시스템(LKAS: Lane Keeping Assist System) 등이 장착되어 있음을 가정할 수 있다.
도 2를 참조하면, 본 실시예에 따르면 전방 카메라부(20)를 통해 촬영되는 전방 카메라 영상을 이용해서 제어부(21)는 전방주행차선을 인식한다. 그리고, 제어부(21)는 전방 카메라 영상, 측방 카메라부(23) 및/또는 후방 카메라부(24)를 통 해 촬영되는 측방 또는 후방 카메라 영상에 전방주행차선을 적용하고, 디스플레이부(22)를 통해 운전자에게 차선이 표시된 측방 카메라 영상(25) 및/또는 후방 카메라 영상(26)을 제공한다.
한편, 본 실시예의 적용에 있어서, 차량의 헤드램프의 켜지거나 꺼진 상황을 통해서 야간 주행 상황임을 인식하고, 이러한 야간 주행 상황에서만 차선이 표시되도록 선택적으로 적용할 수도 있을 것이다.
본 실시예에 따르면 운전자가 인지할 수 있는 모니터링 성능을 향상시켜 운전자가 디스플레이되고 있는 상대 차량 위치가 운전자 주행차선 대비 어디에 위치하고 있는지를 확인 가능하다.
도 3은 본 발명의 일 실시예에 따른 차선이 표시된 차량영상을 제공하는 방법의 동작을 나타내는 흐름도이다.
도 3을 참조하여 보다 구체적으로 설명하면, 먼저 단계 S30에서 전방 카메라 영상 즉, 전방 주행 영상을 통해서 전방 주행 차선을 추출한다. 그리고, 단계 S31에서 추출된 전방 주행 차선을 탑뷰 룩업테이블(LUT: Look Up Table)을 통해 탑뷰 주행 차선으로 변환한다. 그리고, 단계 S32에서 위 단계 S31에서 변환된 탑뷰 주행 차선에 대한 영상좌표를 예측시간(T)만큼 지연할 수 있다.
한편, 단계 S33에서 측방 카메라 영상과 후방 카메라 영상을 뷰변환을 통해 탑뷰 영상으로 변환하고, 단계 S34에서는 위 단계 S32에서 생성되는 예측시간(T)만큼 지연된 탑뷰 주행 차선의 영상좌표를 위 단계 S33에서 생성되는 측방 탑뷰 영상과 후방 탑뷰 영상에 매칭한다.
그리고, 단계 S35에서 탑뷰 주행 차선의 영상좌표가 매칭된 측방 탑뷰 영상과 후방 탑뷰 영상에 차선 간격을 구현하고, 단계 S36에서 이 차선에 차선 간격까지 적용된 측방 탑뷰 영상과 후방 탑뷰 영상을 뷰변환을 통해 원영상으로 변환하여 운전자에게 디스플레이시켜준다.
본 실시예에 따르면, 사이드 미러 대체 측방 카메라, 또는 룸미러 대체 후방 카메라가 적용되어 차량의 측방 및 후방 주변 정보를 영상정보를 통해 운전자가 모니터링 함에 있어서, 차선이 표시된 영상을 이용할 수 있을 것이다.
물론 본 실시예에서는 측방 카메라 영상과 후방 카메라 영상에 주행 차선을 표시하여 디스플레이하는 경우를 설명하였지만, 측방 카메라 영상과 후방 카메라 영상 중 하나의 영상에만 표시할 수도 있음은 물론이고, 전방 카메라 영상에도 표시하여 디스플레이할 수도 있음은 당연할 것이다.
도 4는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 전방 주행 영상을 통해 전방주행차선을 추출하는 방법을 설명하기 위한 도면이다.
먼저 전방 주행 영상이 입력되고(40), 이 전방 주행 영상을 영상처리하여 필터링된 영상을 생성한다(41). 그리고, 이 필터링된 영상에 대해 기하학적인 모델링을 수행하여(42) 차선으로 인식할 수 있는 후보점(44)들을 추출한다(43). 그리고, 이 후보점들(44)을 이용하여 전방주행차선(46)을 인식한다(45). 이때 야간 주행 상황이더라도 헤드램프의 도움으로 전방 주행 영상을 취득하여 주행차선을 인식할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 전방주행차선을 탑뷰 주행 차선으로 변환하는 방법을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이 전방 주행 영상(50)을 통해 추출된 전방 주행 차선(51)을 탑뷰 주행 차선(53)으로 변환한다. 탑뷰 변환시 미리 저장되어 있는 탑뷰 룩업테이블(LUT)을 이용할 수 있다. 탑뷰 룩업테이블은 전방 카메라(상술한 영상센서)의 왜곡 모델을 기반으로 카메라의 파라미터를 추출하고 추출한 파라미터를 변환시켜 탑뷰에 해당하는 영상좌표를 구할 수 있는 룩업테이블을 의미한다.
도 6에 도시된 바와 같이 싸이 수학적 모델(Tsai Equation)을 이용하여 카메라 파라미터를 단계별로 추출해 낼 수 있다. 카메라 파라미터에는, 카메라의 장착 위치와 관련되는 수직/수평 파라미터(T), 회전 파라미터(R)와 장착된 카메라의 랜즈 특성 즉, 랜즈 왜곡도와 관련되는 초점거리 파라미터(f) 및 왜곡 파라미터(k1, k2, w) 등이 포함될 수 있다. 즉, 본 실시예에 따르면, 상술한 각종 카메라 파라미터를 추출하고, 추출된 카메라 파라미터를 탑뷰 룩업테이블을 통해 탑뷰에 해당하는 영상좌표를 획득함으로써 전방주행차선(51)을 탑뷰 주행 차선(53)으로 변환할 수 있다.
도 7은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 탑뷰 주행 차선을 예측시간(T)만큼 지연시켜 측방/후방 탑뷰 영상에 적용하는 방법을 설명하기 위한 도면이다.
주행, 특히 야간 주행 상황에서 측방 및 후방 카메라를 이용해서 차선을 검 출하는 것은 조명 문제로 인해 불가능하므로 전방 카메라를 이용하여 전방 주행 차선을 검출하여야 한다.
하지만, 차선이탈경보장치(LDWS) 및/또는 차선유지지원시스템(LKAS)을 통해 전방주행차선을 검출한 경우에는 검출한 전방주행차선은 차선이탈경보장치(LDWS) 및/또는 차선유지지원시스템(LKAS)의 현 주행 지점보다 앞선 위치의 예측점(Prediction Point, 70)을 기준으로 하는 예측 영역에서 검출한 것이므로 전방 주행차선을 측방 탑뷰 영상과 후방 탑뷰 영상에 매칭하기 위해서는 시간적인 동기화 작업이 필요하다.
따라서, 본 실시예에서는 전방 주행 영상을 통해 인식한 전방주행차선 또는 탑뷰 주행 차선을 측방 탑뷰 영상과 후방 탑뷰 영상에 매칭하기 전에 예를 들어, 차선이탈경보장치(LDWS) 및/또는 차선유지지원시스템(LKAS)의 예측시간(T)을 이용하여 동기화한다. 수학식 1은 예측시간(T)을 산출하는 방법의 일례를 나타낸다.
Figure 112008065325733-pat00001
수학식 1에 나타낸 바와 같이 예측시간(T)은, 차량으로부터의 기설정된 예측거리(L)를 차량의 현속도(V)로 나누어 결정될 수 있다. 그리고, 예측거리(L)는 전방주행차선이 추출되는 예측지점(70)과 차량 현재위치(71) 사이의 거리(72)로서 미리 설정되는 값이 된다.
도 8은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있 어서, 탑뷰 주행 차선을 측방 카메라 영상과 후방 카메라 영상에 매칭하는 방법을 설명하기 위한 도면이다.
탑뷰 주행 차선을 측방 카메라 영상과 후방 카메라 영상에 매칭하기 앞서 측방 카메라 영상과 후방 카메라 영상 각각을 측방 탑뷰 영상 및 후방 탑뷰 영상으로 뷰변환한다. 이때 상술한 방법과 마찬가지로 측방/후방 카메라의 왜곡 모델을 기반으로 하여 카메라의 파라미터를 추출하고 추출한 파라미터를 변화시켜 탑뷰 룩업테이블을 통해 뷰변환을 수행할 수 있다.
이렇게 탑뷰 영상으로 뷰변환된 후방 탑뷰 영상(80), 좌측방 탑뷰 영상(81) 및 우측방 탑뷰 영상(82)에 전방 카메라 영상을 통해 추출한 탑뷰 주행 차선을 매칭시킨다.
한편 후방 카메라와 측방 카메라의 경우 차량의 진행 방향의 반대 방향을 향하여 촬영하기 때문에 영상의 하단이 차량의 진행 방향에 해당된다. 이에 따라 영상의 좌측이 실제 차량의 우측에 해당하게 되고, 영상의 우측이 실제 차량의 좌측에 해당하게 된다.
따라서, 후방 탑뷰 영상(80)에 탑뷰 주행 차선을 매칭시킬 때는 이러한 점을 고려하여 전방 카메라 영상에 기초하여 추출된 탑뷰 주행 차선의 좌측에 표시된 차선은 후방 영상의 우측으로 매칭되고, 탑뷰 주행 차선의 우측에 표시된 차선은 후방 영상의 좌측으로 매칭되어야 할 것이다.
그리고, 마찬가지로 우측방 탑뷰 영상(81) 및 좌측방 탑뷰 영상(82)에 탑뷰 주행 차선을 매칭시킬 때에도 우측방 탑뷰 영상(81)에는 차량의 우측 차선이 영상 의 오른쪽에 표시되고, 좌측방 탑뷰 영상(82)에는 차량의 좌측 차선이 영상의 왼쪽에 표시되도록 매칭되어야 할 것이다.
도 9는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 측방 탑뷰 영상과 후방 탑뷰 영상에 탑뷰 주행 차선을 기준으로 차선영역을 표시하는 방법을 설명하기 위한 도면이다.
도 9에 도시된 바와 같이 탑뷰 주행 차선을 매칭된 후방 탑뷰 영상(90), 우측방 탑뷰 영상(91) 및 좌측방 탑뷰 영상(92)에 대해 각 영상에 표시된 탑뷰 주행 차선을 기준으로 차선영역을 추가로 표시해 줄 수 있다. 이는 탑뷰 주행 차선의 차선폭을 기준으로 설정될 수 있을 것이다.
후방 탑뷰 영상(90)에 표시되는 차선영역은 현재 차량이 주행하고 있는 차선을 나타낼 것이고, 우측방 탑뷰 영상(91)에 표시되는 차선영역은 현재 차량이 주행하고 있는 차선의 우측 차선을 나타낼 것이며, 좌측방 탑뷰 영상(92)에 표시되는 차선영역은 현재 차량이 주행하고 있는 차선의 좌측 차선을 나타낼 것이다.
도 10은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 최종 운전자에게 제공되는 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 10에 도시된 바와 같이 탑뷰 주행 차선과 이를 기준으로 하는 차선영역이 표시된 후방 탑뷰 영상, 우측방 탑뷰 영상 및 좌측방 탑뷰 영상 각각은 모두 원영상의 시점으로 다시 뷰변환되어 운전자에게 제공된다.
예를 들어, 우측방 탑뷰 영상(110)은 탑뷰 주행 차선과 이를 기준으로 하는 차선영역이 표시된 상태에서 원영상으로의 뷰변환이 수행되어 우측 카메라 촬영 시 점에 대한 영상(111)으로 운전자에게 제공된다. 그리고, 후방 탑뷰 영상(112)도 마찬가지로 탑뷰 주행 차선과 이를 기준으로 하는 차선영역이 표시된 상태에서 원영상으로의 뷰변환이 수행되어 후방 카메라 촬영 시점에 대한 영상(113)으로 운전자에게 제공된다.
상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.
도 1은 야간 주행 상황에서의 사이드 미러, 측방 카메라 영상, 후방 카메라 영상을 나타낸다.
도 2는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공하는 방법을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 차선이 표시된 차량영상을 제공하는 방법의 동작을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 전방 주행 영상을 통해 전방주행차선을 추출하는 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 전방주행차선을 탑뷰 주행 차선으로 변환하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 탑뷰 주행 차선을 예측시간(T)만큼 지연시켜 측방/후방 탑뷰영상에 적용하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 탑뷰 주행 차선을 측방 카메라 영상과 후방 카메라 영상에 매칭하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있 어서, 측방 탑뷰 영상과 후방 탑뷰 영상에 탑뷰 주행 차선을 기준으로 차선영역을 표시하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 차선이 표시된 차량영상을 제공함에 있어서, 최종 운전자에게 제공되는 영상을 생성하는 방법을 설명하기 위한 도면이다.

Claims (6)

  1. 차량의 전방 카메라 영상을 촬영하기 위한 전방 카메라부;
    상기 차량의 측방 또는 후방 카메라 영상을 촬영하기 위한 카메라부;
    상기 전방 카메라부에서 촬영되는 전방 카메라 영상을 통해 차선 정보를 생성하고, 상기 차선 정보를 이용하여 상기 측방 또는 후방 카메라 영상에 차선 영역을 표시하는 제어부; 및
    상기 차선 영역이 표시된 측방 또는 후방 카메라 영상을 운전자에게 제공하는 디스플레이부;를 포함하며,
    상기 제어부는, 상기 전방 카메라 영상에 탑뷰 변환이 수행되어 생성되는 탑뷰 주행 차선에 대한 상기 차선 정보를, 상기 측방 또는 후방 카메라 영상이 탑뷰 변환된 측방 또는 후방 탑뷰 영상에 적용한 후, 상기 측방 또는 후방 탑뷰 영상을 다시 원영상으로 뷰변환하여 제공하는 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스템.
  2. 청구항 1에 있어서,
    상기 측방 또는 후방 카메라 영상이, 좌측방 영상인 경우 상기 차량의 주행 차선 영역의 좌측 차선 영역이 표시되고, 우측방 영상인 경우 상기 차량의 주행 차선 영역의 우측 차선 영역이 표시되고, 후방 영상인 경우 상기 주행 차선 영역이 표시되는 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스템.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 탑뷰 주행 차선에 대한 차선 정보는, 상기 전방 카메라부에 대한 카메라 파라미터를 추출하여 탑뷰에 해당하는 영상좌표를 구할 수 있는 탑뷰 룩업테이블을 이용하여 생성되는 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스템.
  5. 청구항 1에 있어서,
    상기 차선 정보는, 예측시간(T)만큼 지연되어 상기 측방 또는 후방 카메라 영상에 적용되고, 상기 예측시간(T)은, 상기 차량으로부터의 기설정된 예측거리(L)를 상기 차량의 현속도(V)로 나누어 결정되고, 상기 예측거리(L)는 상기 전방주행차선이 추출되는 예측지점과 상기 차량 사이의 거리인 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스템.
  6. 청구항 1에 있어서,
    상기 차선 영역은, 상기 전방 카메라 영상을 통해 인식되는 차선의 차선폭을 기준으로 설정되는 것을 특징으로 하는, 차선이 표시된 측방/후방 영상 제공 시스 템.
KR1020080090942A 2008-09-17 2008-09-17 차선이 표시된 측방/후방 영상 제공 시스템 KR101428094B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080090942A KR101428094B1 (ko) 2008-09-17 2008-09-17 차선이 표시된 측방/후방 영상 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080090942A KR101428094B1 (ko) 2008-09-17 2008-09-17 차선이 표시된 측방/후방 영상 제공 시스템

Publications (2)

Publication Number Publication Date
KR20100032005A KR20100032005A (ko) 2010-03-25
KR101428094B1 true KR101428094B1 (ko) 2014-08-07

Family

ID=42181355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080090942A KR101428094B1 (ko) 2008-09-17 2008-09-17 차선이 표시된 측방/후방 영상 제공 시스템

Country Status (1)

Country Link
KR (1) KR101428094B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190389385A1 (en) * 2018-06-25 2019-12-26 Ford Global Technologies, Llc Overlay interfaces for rearview mirror displays
EP3745714A4 (en) * 2018-01-25 2021-10-27 Clarion Co., Ltd. DISPLAY CONTROL DEVICE AND DISPLAY SYSTEM
US11335085B2 (en) 2019-07-05 2022-05-17 Hyundai Motor Company Advanced driver assistance system, vehicle having the same and method for controlling the vehicle

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020624B1 (ko) * 2012-09-03 2019-09-10 현대모비스 주식회사 전방 영상 제공 방법 및 디스플레이 장치
KR101697229B1 (ko) * 2015-08-27 2017-01-18 ㈜베이다스 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법
KR102485318B1 (ko) * 2016-05-26 2023-01-05 현대자동차주식회사 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035143A (ko) * 2002-10-18 2004-04-29 현대모비스 주식회사 차량의 전후측방 감시장치
KR20060095146A (ko) * 2005-02-28 2006-08-31 이주성 자동차용 주행 안전장치 및 이를 이용한 주행방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040035143A (ko) * 2002-10-18 2004-04-29 현대모비스 주식회사 차량의 전후측방 감시장치
KR20060095146A (ko) * 2005-02-28 2006-08-31 이주성 자동차용 주행 안전장치 및 이를 이용한 주행방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745714A4 (en) * 2018-01-25 2021-10-27 Clarion Co., Ltd. DISPLAY CONTROL DEVICE AND DISPLAY SYSTEM
US11450040B2 (en) 2018-01-25 2022-09-20 Clarion Co., Ltd. Display control device and display system
US20190389385A1 (en) * 2018-06-25 2019-12-26 Ford Global Technologies, Llc Overlay interfaces for rearview mirror displays
US11335085B2 (en) 2019-07-05 2022-05-17 Hyundai Motor Company Advanced driver assistance system, vehicle having the same and method for controlling the vehicle

Also Published As

Publication number Publication date
KR20100032005A (ko) 2010-03-25

Similar Documents

Publication Publication Date Title
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP5459154B2 (ja) 車両用周囲画像表示装置及び方法
KR101428094B1 (ko) 차선이 표시된 측방/후방 영상 제공 시스템
US9815408B2 (en) Method for operating a rearview camera system of a motor vehicle after detection of a headlight flasher, rearview camera system and motor vehicle
KR102404149B1 (ko) 물체 검출과 통지를 위한 운전자 보조 시스템 및 방법
JP2008230296A (ja) 車両用運転支援システム
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
US20160314357A1 (en) Method and Device for Monitoring an External Dimension of a Vehicle
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
EP2723060A1 (en) Vehicle-mounted camera device
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
JP2010044561A (ja) 乗物搭載用監視装置
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
JP4826355B2 (ja) 車両周囲表示装置
JP4986070B2 (ja) 車両用周囲監視装置
CN110053625B (zh) 距离计算装置和车辆控制装置
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
DE102012200762A1 (de) Verfahren und Fahrerassistenzsystem zur Signalisierung einer Verkehrssituation in einem Umfeld eines Fahrzeuges
JP5541099B2 (ja) 道路区画線認識装置
JP4615536B2 (ja) 表示装置
CN107914639B (zh) 使用外反射镜的车道显示装置及车道显示方法
JP2011008459A (ja) 車載カメラ装置
JP7295645B2 (ja) 車両用道路標識認識支援装置
KR101750160B1 (ko) 어라운드 뷰 노이즈 제거 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 6