KR102006314B1

KR102006314B1 - 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법

Info

Publication number: KR102006314B1
Application number: KR1020140065678A
Authority: KR
Inventors: 이준희; 조영하
Original assignee: 주식회사 만도
Priority date: 2014-05-30
Filing date: 2014-05-30
Publication date: 2019-08-02
Also published as: KR20150138898A

Abstract

본 발명은 차량의 전방 영상에서 시선 유도체 표지판을 인식하고, 차량의 센서로부터 들어오는 주행 정보(요율, 휠속도, 조향각 등)를 종합하여, 운전자의 부주의로 인해 차량이 주행 차로에서 벗어나 주행하는 것을 경고해 줄 수 있도록 하는 것으로서, 본 발명에 따른 시선 유도체 인식을 통한 차로 이탈 경고 방법은, (a) 카메라로 전방을 촬영하여 전방 영상을 획득하는 단계; (b) 상기 획득된 전방 영상에서 차선을 인식하는 단계; (c) 상기 획득된 전방 영상에서 시선 유도체를 인식하는 단계; (d) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이한지를 비교하는 단계; (e) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이한 경우, 차선의 신뢰도(Confidence Level)가 임계값보다 작으면 상기 시선 유도체의 인식 결과를 사용하고, 그렇지 않은 경우에 상기 차선의 인식 결과를 사용하는 단계; (f) 상기 획득된 전방 영상을 이용해 속도와 조향각, 요우(Yaw) 모션을 분석하여 차량 진행 방향을 예측하는 단계; (g) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과 및 상기 차량 진행 방향 예측 결과를 바탕으로 정상 주행 또는 비정상 주행을 판단하는 단계; 및 (h) 상기 판단 결과, 비정상 주행 시 차로 이탈을 경고하는 단계를 포함하는 것을 특징으로 한다.

Description

시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법{Method and system for warning lane departure using turn sign recognition}

본 발명은 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법에 관한 것으로서, 더욱 자세하게는 낭떠러지 옆 면을 지나는 굽은 도로를 주행하는 차량이 카메라를 통해 전방을 촬영하여 획득한 영상에서 곡선로의 코너에 세워져 있는 꺽쇠 모양(<< 또는 >>)의 시선 유도체 표지판을 인식하면, 차량의 센서로부터 들어오는 주행 정보(Yaw Rate, Wheel Speed, Steering Angle 등)를 종합하여, 운전자의 부주의로 인해 차량이 정상적으로 주행하지 않고 주행 차로에서 벗어나 주행하는 것을 경고해 줄 수 있도록 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법에 관한 것이다.

운전자는 졸음이나 기타 주의력 부재로 종종 사고에 노출된다. 특히 낭떠러지 옆 면을 지나는 굽은 길에서 운전자의 주의가 흐트러질 경우 차량 추락이나 전복 사고와 같은 큰 사고로 이어질 수 있다.

차로 이탈 경고 시스템(Lane Departure Warning System, LDWS)은 이러한 부주의한 운전자에게 주행 차로를 벗어나고 있다는 것을 경고 함으로써 사고의 위험을 줄여주는 능동형 운전자 지원 시스템(Active Driver Assistance System)이다. 차로 이탈 경고 시스템(LDWS)에서 한걸음 나아가 운전자 조향을 도와 주는 차선 유지 보조 시스템(Lane Keeping Assistance System, LKAS) / Lane Keeping System(LKS) 역시 시장에 나와 있다.

종래의 LDWS/LKAS/LKS 기술은 카메라로부터 들어온 영상 속의 차선을 인식하고 차량의 이동 예상 경로와 비교함으로써 운전자가 정상 주행 상태에 놓여 있는지 아닌지를 판단하였다.

따라서 야간 상황이나, 먼지가 많이 쌓여 있는 구간을 주행하고 있거나, 차선이 지워져 있는 경우, 혹은 기타 악천후에 시계가 불량한 상황 등 차선이 영상에 잘 보이지 않는 경우에는 시스템의 동작성이 저하되는 단점이 있다.

대한민국 공개특허공보 제10-2013-0067463호(공개일 : 2013.06.24)

전술한 단점을 해결하기 위한 본 발명의 목적은, 낭떠러지 옆 면을 지나는 굽은 도로를 주행하는 차량이 카메라를 통해 전방을 촬영하여 획득한 영상에서 곡선로의 코너에 세워져 있는 꺽쇠 모양(>> 또는 <<)의 시선 유도체 표지판을 인식하면, 차량의 센서로부터 들어오는 주행 정보(Yaw Rate, Wheel Speed, Steering Angle 등)를 종합하여, 운전자의 부주의로 인해 차량이 정상적으로 주행하지 않고 주행 차로에서 벗어나 주행하는 것을 경고해 줄 수 있도록 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 영상 획득부, 차선 인식부, 시선유도체 인식부, 진행방향 예측부, 정상주행 판단부, 경고부를 포함하는 시스템의 시선 유도체 인식을 통한 차로 이탈 경고 방법으로서, (a) 카메라로 전방을 촬영하여 전방 영상을 획득하는 단계; (b) 상기 획득된 전방 영상에서 차선을 인식하는 단계; (c) 상기 획득된 전방 영상에서 시선 유도체를 인식하는 단계; (d) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이한지를 비교하는 단계; (e) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이한 경우, 차선의 신뢰도(Confidence Level)가 임계값보다 작으면 상기 시선 유도체의 인식 결과를 사용하고, 그렇지 않은 경우에 상기 차선의 인식 결과를 사용하는 단계; (f) 상기 획득된 전방 영상을 이용해 속도와 조향각, 요우(Yaw) 모션을 분석하여 차량 진행 방향을 예측하는 단계; (g) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과 및 상기 차량 진행 방향 예측 결과를 바탕으로 정상 주행 또는 비정상 주행을 판단하는 단계; 및 (h) 상기 판단 결과, 비정상 주행 시 차로 이탈을 경고하는 단계를 포함하는 시선 유도체 인식을 통한 차로 이탈 경고 방법이 제공된다.

또한, 상기 (b) 단계는 허프 변환이나 3차 곡선 형태(form)를 사용하고, 차선이 인식되지 않는 경우에 차선 인식 동작을 실행하지 않게 된다.

또한, 상기 (b) 단계에서 상기 차선의 인식 결과는 자동차 좌표계를 기준으로 차선까지의 오프셋(offset), 각도(Angle), 곡률(Curvature) 및 차선의 신뢰도(confidence level)를 포함한다.

또한, 상기 (c) 단계에서 상기 시선 유도체의 인식 결과는 속도와 법규에 따른 곡률 반경(curvature radius)을 포함한다.

또한, 상기 (c) 단계는, 상기 획득된 전방 영상에 대해, 일정 크기의 노말 히스토그램(Normalized Histogram)(Hn)을 생성하고, 상기 노말 히스토그램에 대한 각 픽셀의 노말 그레이값(Normalized Gray Value)을 산출하며, 상기 노말 그레이 값에 근거해 HOG(Histogram of Oriented Gradient)를 이용해 양상율(Aspect Ratio)을 산출하며, 산출된 양상율이 일정 기준 이하이면 가외치(Outlier)로 제외하고 일정 기준 이상의 가내치(Inlier)를 근거로 상기 시선 유도체를 인식하게 된다.

또한, 상기 (c) 단계는, 상기 노말 히스토그램(Hn)에 대해 샘플의 히스토그램(H)을 샘플 구성 픽셀 수(Ns)로 나누어 산출하게 된다.

또한, 상기 (c) 단계는, 상기 노말 히스토그램(Hn)에 대한 현재 픽셀(I'(x,y))의 노말 그레이 값(NGV)에 대해, 이전 픽셀(I(x,y))에서 Nomalization patch의 평균을 뺀 값을 분산의 2배 값(2*sigma)으로 나누고, 여기에 255를 곱하여 산출하게 된다.

또한, 상기 (e) 단계에서 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이하지 않은 경우에, 상기 차선의 인식 결과를 사용하게 된다.

또한, 상기 (g) 단계는, 상기 차선 인식부를 통해 인식한 차선의 곡률반경과 상기 시선유도체 인식부를 통해 인식한 시선 유도체의 양상율에 따른 곡률반경을 비교하여 일정 기준 이상으로 차이가 있는 경우에, 상기 시선 유도체의 양상율에 따른 곡률반경에 근거해 상기 차선의 곡률반경을 보정하게 된다.

또한, 상기 (g) 단계는, 상기 차선 인식부를 통한 차선 인식 결과에서 차선 인식에 실패하였거나, 차선 인식 결과의 신뢰도(Confidence Level)가 임계치(Threshold) 범위보다 낮거나, 상기 시선유도체 인식부를 통해 시선 유도체를 인식하였음에도 불구하고 차선의 곡률반경이 일정 기준 이상으로 큰 경우에는 법이 정한 시선 유도체 적용 범위의 차선의 곡률반경을 적용하게 된다.

그리고, 상기 (g) 단계는, 상기 진행방향 예측부를 통한 차선의 곡률과 상기 차선 인식부를 통한 차선의 곡률이 임계치(Threshold) 범위 내에서 다를 경우에 비정상 주행으로 판단하게 된다.

한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 카메라로 전방을 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 획득된 전방 영상에서 차선을 인식하는 차선 인식부; 상기 획득된 전방 영상에서 시선 유도체를 인식하는 시선유도체 인식부; 상기 획득된 전방 영상을 이용해 속도와 조향각, 요우(Yaw) 모션을 분석하여 차량의 진행 방향을 예측하는 진행방향 예측부; 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이한지를 비교하여 상이한 경우, 차선의 신뢰도(Confidence Level)가 임계값보다 작으면 상기 시선 유도체의 인식 결과를 사용하고, 차선의 신뢰도가 임계값보다 크면 상기 차선의 인식 결과를 사용하며, 차로 이탈을 경고하도록 제어하는 제어부; 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과 및 상기 차량 진행방향 예측 결과를 바탕으로 정상 주행 또는 비정상 주행을 판단하는 정상주행 판단부; 및 상기 제어부의 제어에 따라 경고음을 출력하거나, 경고를 표시하는 경고부를 포함하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템이 제공된다.

또한, 상기 차선의 인식 결과는, 자동차 좌표계를 기준으로 차선까지의 오프셋(offset), 각도(Angle), 곡률(Curvature) 및 차선의 신뢰도(confidence level)를 포함한다.

또한, 상기 시선 유도체 인식부는, 상기 획득된 전방 영상에 대해, 일정 크기의 노말 히스토그램(Normalized Histogram)(Hn)을 생성하고, 노말 히스토그램에 대한 각 픽셀의 노말 그레이값(Normalized Gray Value)을 산출하며, HOG(Histogram of Oriented Gradient)를 이용해 양상율(Aspect Ratio)을 산출해 일정 기준 이하이면 가외치(Outlier)로 제외하고 일정 기준 이상의 가내치(Inlier)를 근거로 시선 유도체를 인식하게 된다.

또한, 상기 시선유도체 인식부는, 상기 노말 히스토그램(Hn)에 대해 샘플의 히스토그램(H)을 샘플 구성 픽셀 수(Ns)로 나누어 산출하게 된다.

또한, 상기 시선유도체 인식부는, 상기 노말 히스토그램(Hn)에 대한 현재 픽셀(I'(x,y))의 노말 그레이 값(NGV)에 대해, 이전 픽셀(I(x,y))에서 Nomalization patch의 평균을 뺀 값을 분산의 2배 값(2*sigma)으로 나누고, 여기에 255를 곱하여 산출하게 된다.

또한, 상기 제어부는, 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이하지 않은 경우에, 상기 차선의 인식 결과를 사용하게 된다.

또한, 상기 제어부는, 상기 차선 인식부를 통해 인식한 차선의 곡률반경과 상기 시선유도체 인식부를 통해 인식한 시선 유도체의 양상율에 따른 곡률반경을 비교하여 일정 기준 이상으로 차이가 있는 경우에, 상기 시선 유도체의 양상율에 따른 곡률반경에 근거해 상기 차선의 곡률반경을 보정하게 된다.

또한, 상기 제어부는, 상기 차선 인식부를 통한 차선 인식 결과에서 차선 인식에 실패하였거나, 차선 인식 결과의 신뢰도(Confidence Level)가 임계치(Threshold) 범위보다 낮거나, 상기 시선유도체 인식부를 통해 시선 유도체를 인식하였음에도 불구하고 차선의 곡률반경이 일정 기준 이상으로 큰 경우에는 법이 정한 시선 유도체 적용 범위의 차선의 곡률반경을 적용하게 된다.

그리고, 상기 정상주행 판단부는, 상기 진행방향 예측부를 통한 차선의 곡률과 상기 차선 인식부를 통한 차선의 곡률이 임계치(Threshold) 범위 내에서 다를 경우에 비정상 주행으로 판단하게 된다.

본 발명에 의하면, 카메라를 통해 획득한 전방 영상에 기반하여 차선을 인식함과 더불어 시선 유도체를 인식하게 됨에 따라 곡면 도로에서 차선의 이탈을 경고해 줄 수 있다.

따라서, 낭떠리지나 곡면의 굽은 도로에서 운전자의 부주의로 인해 차량이 차로에서 이탈하는 것을 경고해 주게 됨으로써 차량의 추락이나 전복 사고를 미연에 방지할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 차로 이탈 경고 시스템의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 시선 유도체 인식을 통한 차로 이탈 경고 방법을 설명하기 위한 동작 흐름도이다.
도 3은 본 발명의 실시예에 따른 원본 영상과 NGV 영상의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따라 Width 8 이상인 경우 Aspect Ratio의 예를 나타낸 그래프이다.
도 5는 본 발명의 실시예에 따른 시선 유도체인 갈매기 표지판의 구성 예를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 갈매기 표지판의 색상에 대한 색도좌표 범위를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 갈매기 표지판의 설치 예를 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명에 따른 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 차로 이탈 경고 시스템의 기능 블럭을 개략적으로 나타낸 구성도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 차로 이탈 경고 시스템(100)은, 영상 획득부(110)와 차선 인식부(120), 시선유도체 인식부(130), 진행방향 예측부(140), 정상주행 판단부(150), 저장부(160), 제어부(170) 및 경고부(180)를 포함한다.

영상 획득부(110)는 카메라로 전방을 촬영하여 전방 영상을 획득한다.

차선 인식부(120)는 획득된 전방 영상에서 차선을 인식한다. 여기서, 차선의 인식 결과는 자동차 좌표계를 기준으로 차선까지의 오프셋(offset), 각도(Angle), 곡률(Curvature) 및 차선의 신뢰도(confidence level)를 포함한다.

시선유도체 인식부(130)는 획득된 전방 영상에서 시선 유도체를 인식한다. 즉, 시선유도체 인식부(130)는 획득된 전방 영상에 대해, 일정 크기의 노말 히스토그램(Normalized Histogram)(Hn)을 생성하고, 노말 히스토그램에 대한 각 픽셀의 노말 그레이값(Normalized Gray Value)을 산출하며, HOG(Histogram of Oriented Gradient)를 이용해 양상율(Aspect Ratio)을 산출해 일정 기준 이하이면 가외치(Outlier)로 제외하고 일정 기준 이상의 가내치(Inlier)를 근거로 시선 유도체를 인식한다.

또한, 시선유도체 인식부(130)는, 노말 히스토그램(Hn)에 대해 샘플의 히스토그램(H)을 샘플 구성 픽셀 수(Ns)로 나누어 산출하게 된다.

그리고, 시선유도체 인식부(130)는, 노말 히스토그램(Hn)에 대한 현재 픽셀(I'(x,y))의 노말 그레이 값(NGV)에 대해, 이전 픽셀(I(x,y))에서 Nomalization patch의 평균을 뺀 값을 분산의 2배 값(2*sigma)으로 나누고, 여기에 255를 곱하여 산출하게 된다.

진행방향 예측부(140)는 획득된 전방 영상을 이용해 속도와 조향각, 요우(Yaw) 모션을 분석하여 차량의 진행 방향을 예측하게 된다.

정상주행 판단부(150)는 차선의 인식 결과와, 시선 유도체의 인식 결과 및 차량 진행방향 예측 결과를 바탕으로 정상 주행 주행 또는 비정상 주행을 판단하게 된다.

저장부(160)는 영상 획득부(110)를 통해 획득된 전방 영상이나, 차로 이탈 시 경고하기 위한 경고음을 저장하고 있다.

제어부(170)는 차선의 인식 결과와 시선 유도체의 인식 결과가 상이한지를 비교하여 상이한 경우, 차선의 신뢰도(confidence level)가 임계값(Threshold)보다 작으면 시선 유도체의 인식 결과를 사용하고, 차선의 신뢰도가 임계값보다 크면 차선의 인식 결과를 사용하며, 비정상 주행의 판단 시 차로 이탈을 경고하도록 제어하게 된다.

경고부(180)는 제어부의 제어에 따라 경고음을 출력하거나, 경고를 표시하게 된다.

여기서, 제어부(170)는 차선의 인식 결과와 시선 유도체의 인식 결과가 상이하지 않은 경우에, 차선의 인식 결과를 사용하게 된다.

또한, 제어부(170)는, 차선 인식부를 통해 인식한 차선의 곡률과 시선유도체 인식부를 통해 인식한 시선 유도체의 양상율에 따른 곡률을 비교하여 일정 기준 이상으로 차이가 있는 경우에, 시선 유도체의 양상율에 따른 곡률에 근거해 차선의 곡률을 보정하게 된다.

또한, 제어부(170)는, 차선 인식부를 통한 차선 인식 결과에서 차선 인식에 실패하였거나, 차선 인식 결과의 신뢰도(Confidence Level)가 임계치(Threshold) 범위보다 낮거나, 시선유도체 인식부를 통해 시선 유도체를 인식하였음에도 불구하고 차선의 곡률이 일정 기준 이상으로 큰 경우에는 법이 정한 시선 유도체 적용 범위의 차선의 곡률을 적용하게 된다.

그리고, 정상주행 판단부(150)는, 진행방향 예측부를 통한 차선의 곡률과 차선 인식부를 통한 차선의 곡률이 임계치(Threshold) 범위 내에서 다를 경우에 비정상 주행으로 판단하게 된다.

도 2는 본 발명의 실시예에 따른 시선 유도체 인식을 통한 차로 이탈 경고 방법을 설명하기 위한 동작 흐름도이다.

도 2를 참조하면, 본 발명의 실시예에 따른 차로 이탈 경고 시스템(100)은, 카메라로 전방을 촬영하여 전방 영상을 획득한다(S210).

즉, 영상 획득부(110)는 차량의 전방을 촬영할 수 있는 위치에 설치된 전방 카메라를 통해 전방의 모습을 촬영하여 전방 영상을 획득한다. 따라서, 전방 영상에는 도로의 이미지와 더불어 도로 상에 표기된 차선이 포함되어 있다.

이어, 차선 인식부(120)는 획득된 전방 영상에서 차선을 인식한다(S220). 즉, 차선 인식부(120)는 일반적으로 알려진 LDWS(Lane Departure Warning System)이나 LKAS(Lane Keeping Assistances System), LKS(Lane Keeping System) 등의 능동형 운전자 지원 시스템(Active Driver Assistance System)과 동일한 기능을 이용하여 전방 영상에서 차선을 인식할 수 있다.

이때, 차선 인식부(120)는 허프 변환이나 3차 곡선 형태(form)를 사용하고, 차선이 인식되지 않는 경우에 차선 인식 동작을 실행하지 않을 수 있다. 차선 인식 결과는 자동차 좌표계를 기준으로 차선까지의 오프셋(offset), 각도(Angle), 곡률(Curvature) 및 차선의 신뢰도(confidence level)를 포함한다.

이어, 시선유도체 인식부(130)는 획득된 전방 영상에서 시선 유도체를 인식한다(S230).

즉, 시선유도체 인식부(130)는 획득된 전방 영상에 대해, 일정 크기의 노말 히스토그램(Normalized Histogram)(Hn)을 생성한다. 이때, 시선유도체 인식부(130)는 다음 수학식 1에 따라 노말 히스토그램(Hn)에 대해 샘플의 히스토그램(H)을 샘플 구성 픽셀 수(Ns)로 나누어 산출하게 된다.

여기서, H는 샘플의 히스토그램(Histogram)을 나타내고, Ns는 샘플 구성 픽셀 수를 나타낸다.

시선 유도체의 인식 결과는 속도와 법규에 따른 곡률 반경(curvature radius)을 포함한다.

시선유도체 인식부(130)는 노말 히스토그램에 대한 각 픽셀의 노말 그레이값(Normalized Gray Value)을 산출한다. 이때, 시선유도체 인식부(130)는 노말 히스토그램(Hn)에 대한 현재 픽셀(I'(x,y))의 노말 그레이 값(NGV)에 대해, 다음 수학식 2에 따라 이전 픽셀(I(x,y))에서 Nomalization patch의 평균을 뺀 값을 분산의 2배 값(2*sigma)으로 나누고, 여기에 255를 곱하여 산출하게 된다.

여기서, μ는 Nomalization Patch의 평균, 즉 Crop 영역의 평균을 나타내고, σ는 Crop 영역의 분산을 나타낸다.

노말 그레이 값(NGV)의 경우, 폭(Width) 8 이상인 blob에 대해서 크기에 따라 8ㅧ8, 16ㅧ16으로 Nomalization하여 NGV 값을 산출한다. NGV를 이용하면, 시선유도체 인식부(130)는 HBA(High Beam Assistance) 알고리즘 상에서 Integral Image를 사용하기 때문에 Crop된 영역의 평균(mean)과 표준 편차(Standard)를 빠르게 산출할 수 있다. 따라서, 시선유도체 인식부(130)는 도 3에 도시된 바와 같이 좌측 원본 영상에 대해 우측의 NGV 영상을 얻을 수 있다. 도 3은 본 발명의 실시예에 따른 원본 영상과 NGV 영상의 한 예를 나타낸 도면이다.

시선유도체 인식부(130)는 노말 그레이 값에 근거해 HOG(Histogram of Oriented Gradient)를 이용해 양상율(Aspect Ratio)을 산출하게 된다. 즉, 시선유도체 인식부(130)는 노말 그레이 값에 근거해 HOG를 이용해 도 4에 도시된 바와 같이 Blob Aspect Ratio를 얻게 된다. 도 4는 본 발명의 실시예에 따라 Width 8 이상인 경우 Aspect Ratio를 나타낸 그래프이다. 도 4에서, Width 8 이상인 경우 Aspect Ratio의 평균이 0.7474이고 표준 편차가 0.2236이며, 시선 유도체 즉 갈매기 표지판의 경우 Aspect Ratio는 1.2이며, 광원/반사체의 경우 Aspect Ratio가 0.74이다. HOG는 영상이 갖는 지역적인 gradient(edge 방향) 분포(histogram) 특성을 추출하여 물체를 식별하는 방법이다.

또한, 시선유도체 인식부(130)는 Normalized Histogram 갈매기 표지판에 대해 bi-modal로 하여, 두 표지판의 Aspect Ration를 고려해 8ㅧ8, 16ㅧ16으로 Size에 대한 Normalization을 실시하며, Width가 8 ~ 15일 경우 8로 Normalization하고, 16 이상일 경우에 16으로 Normalization하게 된다.

이어, 시선유도체 인식부(130)는 산출된 양상율이 일정 기준 이하이면 가외치(Outlier)로 제외하고 일정 기준 이상의 가내치(Inlier)를 근거로 시선 유도체를 인식한다. 즉, 시선유도체 인식부(130)는 도 3에 도시된 바와 같이 Aspect Ratio가 2.0 이상일 경우에 Outlier로 간주하고, 발생된 총 8 개의 outlier를 인식 대상에서 제외시키게 된다.

여기서, Inlier와 Outlier 2 개의 클래스로 분류할 때 SVM(Support Vector Machine)을 이용할 수 있다. 두 그룹에서 각각의 데이터 간 거리를 측정하여 두 개의 중심을 구한 후에 그 가운데에서 최적의 픽셀을 구함으로써 두 그룹을 구분할 수 있다.

HOG를 이용할 경우, 16ㅧ16은 G/E/M 인식율이 95% 이상이고, 오인식이 5% 미만의 성능을 보이며, 8ㅧ8은 NGV와 성능이 유사하다. 16 픽셀 이상의 갈매기 표지판은 HOG 적용 시 갈매기와 광원의 구분이 가능하고, 8 픽셀 이상 15 픽셀 이하의 경우 NGV와 HOG의 적용 시 성능이 떨어진다.

시선 유도체인 갈매기 표지판의 경우, 도로교통법 제2조의 도로 부속물로서 급한 평면 곡선부 등 시거가 불량한 장소에 갈매기 기호의 표지판을 설치하여, 주·야간에 도로의 선형 및 굴곡 정도를 운전자가 명확히 알 수 있도록 하여 안전 주행을 도모하는 시선 유도 시설이다.

갈매기 표지판은 도로의 평면 선형이 급격하게 변화하는 구간과 같이 운전자에게 도로의 상황에 관한 사전 정보 제공이 특별히 강조되는 구간에 설치한다.

시선유도표지와 갈매기 표지의 설치장소에 대한 구별의 필요성은 급한 평면곡선부(특히, S자 곡선)의 경우 운전자가 도로의 좌·우측에 설치된 시선유도표지에 의해 도로의 선형을 인지하는데 혼란을 수반할 수 있다. 이러한 이유로 급한 평면곡선부의 경우 갈매기 표지를 도로의 바깥쪽에 시선유도표지를 안쪽에 설치함으로써 운전자의 혼란을 줄일 수 있다.

갈매기 표지판은 도 5에 도시된 바와 같이 갈매기 기호체, 표지판 및 지주로 구성된다. 도 5는 본 발명의 실시예에 따른 시선 유도체인 갈매기 표지판의 구성 예를 나타낸 도면이다. 판의 규격은 가로 45 cm 세로 60 cm를 표준적인 규격으로 한다. 갈매기 기호체의 꺾음 표시는 1개로 한다. 중앙 분리대, 교량 등 도로 구조물에 의해 표준 규격의 설치가 용이하지 못한 장소에서는 규격을 축소하여 사용할 수 있다. 공사구간에서 사용하는 갈매기 표지는 도로의 상황 및 교통의 상황 등을 감안하여 전체적인 안전시설 설치 계획에 따라 규격을 조절할 수 있다. 2차로 도로에서는 양면형으로 하고 중앙 분리대로 분리된 4차로 이상 도로에서는 단면형으로 한다.

도 5에서, 갈매기 기호체는 운전자에게 전방의 도로 구간이 곡선부로서 도로가 구부러져 진행됨을 알리는 갈매기 형상의 꺽음 기호를 표시한 것이다. 표지판은 꺾음 표시의 시인성과 판독성을 높이기 위해 갈매기 기호체를 부착하여 지주에 고정시키는 판이다. 따라서 표지판은 갈매기 기호체를 확실히 부착할 수 있어야 하며, 또한 지주에 견고하게 조립할 수 있어야 한다. 지주는 표지판을 필요한 위치에 고정하기 위한 것을 말한다. 그러므로 경미한 외부 압력으로 인하여 갈매기 표지가 이동되어서는 안된다. 갈매기 표지의 바탕은 노랑색, 꺾음 표시는 검정색으로 한다. 반사체의 색도는 색도측정방법에 따라 측정시 도 6에 도시된 바와 같은 색도좌표의 범위 내에 들어와야 한다. 도 6은 본 발명의 실시예에 따른 갈매기 표지판의 색상에 대한 색도좌표 범위를 나타낸 도면이다.

갈매기 표지판의 설치 위치는 차도 시설한계의 바깥쪽 가장 가까운 곳에 설치한다. 일반적으로 길어깨 가장자리로부터 0 ~ 200 Cm 되는 곳에 지형에 맞게 설치한다. 설치높이는 노면으로부터 표지판 하단까지의 높이를 120 Cm로 하여 설치하는 것을 표준으로 한다.

갈매기 표지판은 도 7에 도시된 바와 같이 곡선 구간에서 연속으로 설치하여 원활한 시선유도 효과가 있도록 하며, 도로의 곡선 반경에 따른 설치 간격은 다음 표 1과 같이 한다.

곡선반경	설치간격	곡선반경	설치간격
50 이하	8	246 ~ 320	25
51 ~ 80	12	321 ~ 405	30
81 ~ 125	15	406 ~ 500	35
126 ~ 180	20	501 ~ 650	38
181 ~ 245	22	651 ~ 900	45

갈매기 표지는 적어도 150m 전방에서 운전자가 볼 수 있는 기능을 가져야 하며, 운전자의 시야에 2개 이상의 표지가 들어와야 한다. 주행 속도가 높은 자동차 전용도로나 간선도로에서는 진입부 전이구간에 해당 곡선부의 설치 간격에 2배를 취한 위치에 갈매기 표지를 추가 설치한다. 도 7은 본 발명의 실시예에 따른 갈매기 표지판의 설치 예를 나타낸 도면이다.

설치각도는 표지의 시인성과 자동차의 진행방향이 잘 고려되어야 하며, 진행방향에 대해 직각 또는 10ㅀ이내에 설치되어야 한다. 야간에 자동차 전조등에 의해 표지의 표면으로부터 나온 반사광이 운전자의 시선에 놓여 순간적인 눈부심이 발생하지 않도록 적절한 각도를 이루어야 한다.

다음 표 2는 갈매기 표지 적용 최소 곡선반경을 나타낸 것이다.

설계속도(km/h)	최소곡선반경(m)	갈매기표지적용 곡선반경(m)
120	710	770
110	600	650
100	460	550
90	380	420
80	280	340
70	200	250
60	140	180
50	90	120
40	60	80
30	30	45

그리고, 도로의 곡선반경에 따른 표준 설치 간격(S)은 다음 수학식 3에 따른다.

여기서, S는 설치 간격(m)을 나타내고, R은 곡선반경(m)을 나타낸다.

이어, 제어부(170)는 차선의 인식 결과와 시선 유도체의 인식 결과가 상이한지를 비교한다(S240).

이어, 제어부(170)는 차선의 인식 결과와 시선 유도체의 인식 결과가 상이한 경우(S250-예), 차선의 신뢰도가 임계(Threshold)값보다 작으면(S252-예), 시선 유도체의 인식 결과를 사용하고(S254), 차선의 신뢰도가 임계값보다 크면(S252-아니오) 차선의 인식 결과를 사용한다(S256).

또한, 제어부(170)는 차선의 인식 결과와 시선 유도체의 인식 결과가 상이하지 않은 경우에도(S250-아니오), 차선의 인식 결과를 사용한다(S256).

이어, 진행방향 예측부(140)는 획득된 전방 영상을 이용해 속도와 조향각, 요우(Yaw) 모션을 분석하여 차량의 진행 방향을 예측한다(S260).

이어, 정상주행 판단부(150)는 차선의 인식 결과와 시선 유도체의 인식 결과 및 차량 진행방향 예측 결과를 바탕으로 정상 주행 또는 비정상 주행을 판단한다(S270).

즉, 정상주행 판단부(150)는 예측된 차량의 진행 방향과, 차선의 인식 결과와 시선 유도체의 인식 결과에 따른 전방 도로의 차선 곡률을 추정해 정상 주행 또는 비정상 주행을 판단한다.

또한, 정상주행 판단부(150)는 차선 인식부를 통한 차선 인식 결과에서 차선 인식에 실패하였거나, 차선 인식 결과의 신뢰도(Confidence Level)가 임계치(Threshold) 범위보다 낮거나, 시선유도체 인식부를 통해 시선 유도체를 인식하였음에도 불구하고 차선의 곡률이 일정 기준 이상으로 큰 경우에는 표 1 및 표 2와 같이 법이 정한 시선 유도체 적용 범위의 차선의 곡률을 적용하게 된다.

또한, 정상주행 판단부(150)는 진행방향 예측부를 통한 차선의 곡률과 차선 인식부를 통한 차선의 곡률이 임계치(Threshold) 범위 내에서 다를 경우에 비정상 주행으로 판단하게 된다.

제어부(170)는 비정상 주행 시 경고부(180)를 통해 차로 이탈을 경고한다(S280).

즉, 경고부(180)는 비정상 주행을 음성으로 출력하여 경고하거나, 운전자가 볼 수 있는 화면 상에 비정상 주행을 출력하여 경고하게 된다.

따라서, 차량이 주행 차로에서 벗어나 주행하는 것을 경고해 주게 됨으로써 안전 사고를 미연에 방지할 수 있다.

또한, 제어부(170)는 차선 인식부를 통해 인식한 차선의 곡률과 시선유도체 인식부를 통해 인식한 시선 유도체의 양상율에 따른 곡률을 비교하여 일정 기준 이상으로 차이가 있는 경우에, 시선 유도체의 양상율에 따른 곡률에 근거해 차선의 곡률을 보정하게 된다.

전술한 바와 같이 본 발명에 의하면, 낭떠러지 옆 면을 지나는 굽은 도로를 주행하는 차량이 카메라를 통해 전방을 촬영하여 획득한 영상에서 곡선로의 코너에 세워져 있는 꺽쇠 모양(>> 또는 <<)의 시선 유도체 표지판을 인식하면, 차량의 센서로부터 들어오는 주행 정보(Yaw Rate, Wheel Speed, Steering Angle 등)를 종합하여, 운전자의 부주의로 인해 차량이 정상적으로 주행하지 않고 주행 차로에서 벗어나 주행하는 것을 경고해 줄 수 있도록 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법을 실현할 수 있다.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 낭떠러지 옆 면을 지나는 굽은 도로를 주행하는 차량이 카메라를 통해 전방을 촬영하여 획득한 영상에서 곡선로의 코너에 세워져 있는 꺽쇠 모양(>> 또는 <<)의 시선 유도체 표지판을 인식하면, 차량의 센서로부터 들어오는 주행 정보(요율, 휠속도, 조향각 등)를 종합하여, 운전자의 부주의로 인해 차량이 정상적으로 주행하지 않고 주행 차로에서 벗어나 주행하는 것을 경고해 줄 수 있도록 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법에 적용할 수 있다.

100 : 차로 이탈 경고 시스템 110 : 영상 획득부
120 : 차선 인식부 130 : 시선유도체 인식부
140 : 진행방향 예측부 150 : 정상주행 판단부
160 : 저장부 170 : 제어부
180 : 경고부

Claims

영상 획득부, 차선 인식부, 시선유도체 인식부, 진행방향 예측부, 정상주행 판단부, 경고부를 포함하는 시스템의 시선 유도체 인식을 통한 차로 이탈 경고 방법으로서,
(a) 카메라로 전방을 촬영하여 전방 영상을 획득하는 단계;
(b) 상기 획득된 전방 영상에서 차선을 인식하는 단계;
(c) 상기 획득된 전방 영상에서 시선 유도체를 인식하는 단계;
(d) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이한지를 비교하는 단계;
(e) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이한 경우, 차선의 신뢰도(Confidence Level)가 임계값보다 작으면 상기 시선 유도체의 인식 결과를 사용하고, 그렇지 않은 경우에 상기 차선의 인식 결과를 사용하는 단계;
(f) 상기 획득된 전방 영상을 이용해 속도와 조향각, 요우(Yaw) 모션을 분석하여 차량 진행 방향을 예측하는 단계;
(g) 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과 및 상기 차량 진행 방향 예측 결과를 바탕으로 정상 주행 또는 비정상 주행을 판단하는 단계; 및
(h) 상기 판단 결과, 비정상 주행 시 차로 이탈을 경고하는 단계;를 포함하되,
상기 (e) 단계는,
상기 차선의 신뢰도가 임계값 이상이면, 상기 차선 인식부를 통해 인식한 차선의 곡률반경과 상기 시선유도체 인식부를 통해 인식한 시선 유도체의 양상율에 따른 곡률반경을 비교하여 일정 기준 이상으로 차이가 있는 경우, 상기 시선 유도체의 양상율에 따른 곡률반경에 근거해 상기 차선의 곡률반경을 보정하여 상기 차선의 인식 결과를 사용하고,
상기 (g) 단계는,
상기 차선의 곡률반경이 보정된 상기 차선의 인식 결과가 사용되는 경우, 상기 진행방향 예측부를 통한 차선의 곡률과 상기 차선 인식부를 통한 차선의 곡률이 임계치(Threshold) 범위 내에서 다를 경우에 비정상 주행으로 판단하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
청구항 1에 있어서,
상기 (b) 단계는 허프 변환이나 3차 곡선 형태(form)를 사용하고, 차선이 인식되지 않는 경우에 차선 인식 동작을 실행하지 않는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
청구항 1에 있어서,
상기 (b) 단계에서 상기 차선의 인식 결과는 자동차 좌표계를 기준으로 차선까지의 오프셋(offset), 각도(Angle), 곡률(Curvature) 및 차선의 신뢰도(confidence level)를 포함하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
청구항 1에 있어서,
상기 (c) 단계에서 상기 시선 유도체의 인식 결과는 속도와 법규에 따른 곡률 반경(curvature radius)을 포함하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
청구항 1에 있어서,
상기 (c) 단계는, 상기 획득된 전방 영상에 대해, 일정 크기의 노말 히스토그램(Normalized Histogram)(Hn)을 생성하고, 상기 노말 히스토그램에 대한 각 픽셀의 노말 그레이값(Normalized Gray Value)을 산출하며, 상기 노말 그레이 값에 근거해 HOG(Histogram of Oriented Gradient)를 이용해 양상율(Aspect Ratio)을 산출하며, 산출된 양상율이 일정 기준 이하이면 가외치(Outlier)로 제외하고 일정 기준 이상의 가내치(Inlier)를 근거로 상기 시선 유도체를 인식하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
청구항 5에 있어서,
상기 (c) 단계는, 상기 노말 히스토그램(Hn)에 대해 샘플의 히스토그램(H)을 샘플 구성 픽셀 수(Ns)로 나누어 산출하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
청구항 5에 있어서,
상기 (c) 단계는, 상기 노말 히스토그램(Hn)에 대한 현재 픽셀(I'(x,y))의 노말 그레이 값(NGV)에 대해, 이전 픽셀(I(x,y))에서 Nomalization patch의 평균을 뺀 값을 분산의 2배 값(2*sigma)으로 나누고, 여기에 255를 곱하여 산출하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
청구항 1에 있어서,
상기 (e) 단계에서 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이하지 않은 경우에, 상기 차선의 인식 결과를 사용하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
삭제
청구항 1에 있어서,
상기 (g) 단계는, 상기 차선 인식부를 통한 차선 인식 결과에서 차선 인식에 실패하였거나, 차선 인식 결과의 신뢰도(Confidence Level)가 임계치(Threshold) 범위보다 낮거나, 상기 시선유도체 인식부를 통해 시선 유도체를 인식하였음에도 불구하고 차선의 곡률반경이 일정 기준 이상으로 큰 경우에는 법이 정한 시선 유도체 적용 범위의 차선의 곡률반경을 적용하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 방법.
삭제
카메라로 전방을 촬영하여 전방 영상을 획득하는 영상 획득부;
상기 획득된 전방 영상에서 차선을 인식하는 차선 인식부;
상기 획득된 전방 영상에서 시선 유도체를 인식하는 시선유도체 인식부;
상기 획득된 전방 영상을 이용해 속도와 조향각, 요우(Yaw) 모션을 분석하여 차량의 진행 방향을 예측하는 진행방향 예측부;
상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이한지를 비교하여 상이한 경우, 차선의 신뢰도(Confidence Level)가 임계값보다 작으면 상기 시선 유도체의 인식 결과를 사용하고, 차선의 신뢰도가 임계값보다 크면 상기 차선의 인식 결과를 사용하며, 차로 이탈을 경고하도록 제어하는 제어부;
상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과 및 상기 차량 진행방향 예측 결과를 바탕으로 정상 주행 또는 비정상 주행을 판단하는 정상주행 판단부; 및
상기 제어부의 제어에 따라 경고음을 출력하거나, 경고를 표시하는 경고부;를 포함하되,
상기 제어부는,
상기 차선의 신뢰도가 임계값 이상이면, 상기 차선 인식부를 통해 인식한 차선의 곡률반경과 상기 시선유도체 인식부를 통해 인식한 시선 유도체의 양상율에 따른 곡률반경을 비교하여 일정 기준 이상으로 차이가 있는 경우, 상기 시선 유도체의 양상율에 따른 곡률반경에 근거해 상기 차선의 곡률반경을 보정하여 상기 차선의 인식 결과를 사용하고,
상기 정상주행 판단부는,
상기 차선의 곡률반경이 보정된 상기 차선의 인식 결과가 사용되는 경우, 상기 진행방향 예측부를 통한 차선의 곡률과 상기 차선 인식부를 통한 차선의 곡률이 임계치(Threshold) 범위 내에서 다를 경우에 비정상 주행으로 판단하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템.
청구항 12에 있어서,
상기 차선의 인식 결과는, 자동차 좌표계를 기준으로 차선까지의 오프셋(offset), 각도(Angle), 곡률(Curvature) 및 차선의 신뢰도(confidence level)를 포함하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템.
청구항 12에 있어서,
상기 시선 유도체 인식부는, 상기 획득된 전방 영상에 대해, 일정 크기의 노말 히스토그램(Normalized Histogram)(Hn)을 생성하고, 노말 히스토그램에 대한 각 픽셀의 노말 그레이값(Normalized Gray Value)을 산출하며, HOG(Histogram of Oriented Gradient)를 이용해 양상율(Aspect Ratio)을 산출해 일정 기준 이하이면 가외치(Outlier)로 제외하고 일정 기준 이상의 가내치(Inlier)를 근거로 시선 유도체를 인식하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템.
청구항 14에 있어서,
상기 시선유도체 인식부는, 상기 노말 히스토그램(Hn)에 대해 샘플의 히스토그램(H)을 샘플 구성 픽셀 수(Ns)로 나누어 산출하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템.
청구항 14에 있어서,
상기 시선유도체 인식부는, 상기 노말 히스토그램(Hn)에 대한 현재 픽셀(I'(x,y))의 노말 그레이 값(NGV)에 대해, 이전 픽셀(I(x,y))에서 Nomalization patch의 평균을 뺀 값을 분산의 2배 값(2*sigma)으로 나누고, 여기에 255를 곱하여 산출하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템.
청구항 12에 있어서,
상기 제어부는, 상기 차선의 인식 결과와 상기 시선 유도체의 인식 결과가 상이하지 않은 경우에, 상기 차선의 인식 결과를 사용하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템.
삭제
청구항 12에 있어서,
상기 제어부는, 상기 차선 인식부를 통한 차선 인식 결과에서 차선 인식에 실패하였거나, 차선 인식 결과의 신뢰도(Confidence Level)가 임계치(Threshold) 범위보다 낮거나, 상기 시선유도체 인식부를 통해 시선 유도체를 인식하였음에도 불구하고 차선의 곡률반경이 일정 기준 이상으로 큰 경우에는 법이 정한 시선 유도체 적용 범위의 차선의 곡률반경을 적용하는 것을 특징으로 하는 시선 유도체 인식을 통한 차로 이탈 경고 시스템.
삭제