KR101709402B1 - 운전 지원 시스템 및 운전 지원 방법 - Google Patents

Abstract

본 발명은 보다 정확하게 차선을 검출하며 도로의 곡률에 관계없이 모든 차선을 검출하여 더욱 정확하고 안전한 운전 지원을 제공할 수 있는 운전 지원 시스템 및 방법에 관한 것이다.

Description

운전 지원 시스템 및 운전 지원 방법{Driver Assistance System And Method Thereof}

본 발명의 일 실시예는 보다 정확하게 차선을 검출하며 도로의 곡률에 관계없이 모든 차선을 검출하여 더욱 정확하고 안전한 운전 지원을 제공할 수 있는 운전 지원 시스템 및 방법에 관한 것이다.

근래에 들어서 운전 편의성과 안전성 등을 중시한 차량에 대한 고급화가 이루어지고 있는데, 이러한 추세의 하나로 차량의 주행 중 발생될 수 있는 다양한 상황에 대응하여 차량의 운전을 지원하는 시스템이 제공되고 있다.

이와 같이 차량의 운전을 지원하는 시스템은, 첨단 기술이 접목하여 발전됨에 따라, 첨단 운전 보조 시스템(Advanced Drever Assistance System, ADAS)이라 총칭하고, 그 기능에 따라 다양한 명칭으로 불려진다.

첨단 운전 보조 시스템의 예로서, 전방 차량과의 충돌 회피를 목적으로 운전자에게 감각적으로 경고를 주는 전방충돌 경고 시스템(Forward Collision Warning, FCW) 시스템, 전방 차량과의 충돌 가능성을 감지하여 충돌을 완화 및 회피시킬 목적으로 자동차를 자동적으로 제동시키는 자동 비상 제동(Advanced Emergency Braking, AEB) 시스템, 운전자가 설정한 속도로 차량이 자율적으로 주행하는 적응 순항제어(Adaptive Cruise Control, ACC) 시스템, 차량이 주행 차선을 이탈 시 운전자에게 경고를 제공하는 차선 이탈 경고(Lane Departure Warning, LDW) 시스템, 차량이 주행중인 차선을 벗어날 시 본래의 차선으로 복귀시키는 차선 유지 지원(Lane Keeping Assist, LKA) 시스템 등이 있으며, 각각의 기능을 통하여 차량의 운전을 지원하여 사용자의 운전을 편안하고 안전하게 하는 역할을 수행한다.

이러한 첨단 운전 지원 시스템에 있어서, 차량에 부착된 카메라나 센서와 같은 인식 수단으로부터 도로의 영상을 감지하여 주행중인 차선을 파악하는 것은 매우 중요한 요소 중 하나인데, 도로의 차선은 차량에 주행경로를 제공하여 운전자의 안전을 보장하는 가장 기본적인 요소이므로 보다 정확한 방식으로 차선을 검출할 수 있는 수단이 필요하다.

종래의 차선 검출방법은 영상의 컬러 또는 영상의 내부에 형성될 수 있는 경계선으로부터의 특징(feature) 추출, 윤곽(outlier) 제거 및 후처리, 차선 추적의 세 단계로 나눌 수 있었다.

그러나 영상의 컬러로부터 특징을 추출하는 비전 기반의 차선 검출방법은 조명의 변화에 매우 취약하기 때문에 조명 변화가 잦은 도로 환경에 적용하기 어렵다는 문제점이 있었다. 즉 시간과 장소에 따라 도로 환경은 다양한 조명값을 가지며, 이러한 조명 변화에 따라 차선의 컬러도 다양한 값을 가지게 되므로 차선 검출의 신뢰도가 감소될 수 있다.

또한, 영상 내부에 형성될 수 있는 경계선으로부터 특징을 추출하는 비전 기반의 차선 검출방법은 거리의 증가에 따라 영상의 선명도가 저하되므로 이 또한 차선 검출의 신뢰도를 저하시킬 수 있다.

상술한 종래의 차선 검출방법에서의 문제점은 근본적으로 도로의 차선을 인식하기 위해 도로의 영상을 촬영하는 카메라에서부터도 발생될 수 있는데, 종래의 차선을 검출하기 위해 도로의 영상을 촬영하는 카메라는 그 화각이 한정되어 있으며, 이에 따라서 차량이 주행하는 도로의 곡률이 급격하게 변화되어 연장된 형태인 경우 카메라가 도로의 연장 방향을 모두 촬영하지 못하므로 사용자에게 정확한 도로의 차선을 제공하지 못하게 된다는 문제점이 있었다.

이에 따라 카메라의 넓은 시야를 확보하기 위하여 넓은 화각 범위를 갖는 광각(廣角) 카메라를 사용하는 방법이 제안되었으나, 이 경우 넓은 광각으로 인해 영상의 왜곡이 심하게 발생하여 운전자에게 정확한 도로 상황을 전달하지 못하며, 광각 카메라는 비싼 가격으로 제조 단가가 증가한다는 문제점이 있었다.

따라서, 주행중인 차량의 정확한 운전지원 및 안전성 향상을 위해 도로의 차선을 더욱 정확하게 검출할 수 있으며, 도로의 곡률에 관계없이 차선을 검출할 수 있는 운진 지원 시스템의 기술에 대한 개발이 요구되고 있다.

본 발명은 차량이 주행중인 도로의 차선을 더욱 정확하게 검출할 수 있는 운전 지원 시스템 및 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 곡률이 큰 도로의 차선을 검출할 수 있는 운전 지원 시스템 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 운전 지원 시스템은, 주행중 또는 주정차중인 차량의 주변을 촬영하고, 촬영된 영상에 따라 상기 차량의 운전을 지원하는 운전 지원 시스템에으로서, 상기 차량에 장착되어 상기 차량 주변의 영상을 촬영하는 적어도 하나의 촬영부, 차선 후보영역이 백색으로 나타나고 상기 차선 후보영역 외의 배경영역이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상을 생성하는 이진화 영상 생성부, 상기 이진화 영상에서 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하여 상기 이진화 영상 중 상기 차량 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역을 결정하는 이진화 영상 필터링부, 서로 인접한 상기 차선 구성영역을 곡률이 최소화되게 연결하여 복수개의 차선영역을 도출하는 차선영역 도출부 및 상기 차량 및 복수개의 상기 차선영역간의 상대거리를 판단하여, 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선영역 중 어느 하나와 접촉하는지 분석하는 차선영역 이탈 분석부를 포함할 수 있다.

본 발명에 있어서, 적어도 하나의 상기 촬영부는 상기 차량 주변의 모든 방향을 향하여 굴곡진 형상을 갖는 측면을 포함하며, 상기 측면에 상기 차량 주변의 영상을 촬영하는 복수개의 카메라 모듈을 포함할 수 있다.

본 발명에 있어서, 적어도 하나의 상기 촬영부는 가시광선 카메라 모듈 및 적외선 카메라 모듈 중 적어도 하나를 복수개 포함할 수 있다.

본 발명에 있어서, 상기 이진화 영상 생성부는, 복수개의 상기 촬영부를 통해 촬영된 영상들을 조합하여 파노라마 영상을 생성하는 파노라마 영상 생성부, 상기 파노라마 영상을 스트레칭하여 상기 파노라마 영상의 콘트라스트(contrast)를 향상시키는 스트레칭부 및 콘트라스트가 향상된 상기 파노라마 영상을 복수의 단위 영역으로 구분하고, 구분된 상기 단위 영역별로 이진화 처리하여 상기 이진화 영상을 생성하는 이진화 처리부를 포함할 수 있다.

본 발명에 있어서, 상기 이진화 영상 필터링부는, 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하는 배경영역 필터링부, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하는 차선 후보영역 필터링부 및 상기 차선 후보영역을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역을 삭제하여 상기 차선 구성영역을 결정하는 차선 구성영역 결정부를 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 도출부는, 복수개의 상기 차선 구성영역상에 복수개의 좌표를 설정하는 좌표 설정부, 서로 인접한 상기 좌표를 연결하여 복수개의 상기 가상선을 형성하는 가상선 형성부, 복수개의 상기 가상선 각각의 곡률을 산출하는 곡률 산출부 및 복수개의 상기 가상선 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선을 상기 차선영역으로 결정하는 차선영역 결정부를 포함할 수 있다.

본 발명에 있어서, 상기 운전 지원 시스템은 상기 차선영역 이탈 분석부의 분석 결과에 따라 상기 차량의 운전을 지원하는 운전 지원부를 더 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석부가, 상기 차량이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 운전 지원부는 상기 차량이 상기 차선과 접촉하지 않도록 상기 차량의 주행 방향 변경을 지원할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석부가 상기 차량이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 운전 지원부는 상기 차량의 운전자에게 차선 이탈 경보를 제공할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석부가 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선과 접촉하지 않는 것으로 분석하는 경우, 상기 운전 지원부는 상기 차량의 정속주행 또는 가속주행을 지원할 수 있다.

또한, 본 발명의 일 실시예에 따른 운전 지원 방법은, 주행중 또는 주정차중인 차량의 주변을 촬영하고, 촬영된 영상에 따라 상기 차량의 운전을 지원하는 운전 지원 방법으로서, 상기 차량에 장착된 적어도 하나의 촬영부를 통해 상기 차량 주변의 영상을 촬영하는 촬영단계, 차선 후보영역이 백색으로 나타나고 상기 차선 후보영역 외의 배경영역이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상을 생성하는 이진화 영상 생성단계, 상기 이진화 영상에서 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하여 상기 이진화 영상 중 상기 차량 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역을 결정하는 이진화 영상 필터링단계, 서로 인접한 상기 차선 구성영역을 곡률이 최소화되게 연결하여 복수개의 차선영역을 도출하는 차선영역 도출단계 및 상기 차량 및 복수개의 상기 차선영역간의 상대거리를 판단하여, 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선영역 중 어느 하나와 접촉하는지 분석하는 차선영역 이탈 분석단계를 포함할 수 있다.

본 발명에 있어서, 적어도 하나의 상기 촬영부는 상기 차량 주변의 모든 방향을 향하여 굴곡진 형상을 갖는 측면을 포함하며, 상기 측면에 상기 차량 주변의 영상을 촬영하는 복수개의 카메라 모듈을 포함할 수 있다.

본 발명에 있어서, 적어도 하나의 상기 촬영부는 가시광선 카메라 모듈 및 적외선 카메라 모듈 중 적어도 하나를 복수개 포함할 수 있다.

본 발명에 있어서, 상기 이진화 영상 생성단계는, 복수개의 상기 촬영부를 통해 촬영된 영상들을 조합하여 파노라마 영상을 생성하는 파노라마 영상 생성단계, 상기 파노라마 영상을 스트레칭하여 상기 파노라마 영상의 콘트라스트(contrast)를 향상시키는 스트레칭단계 및 콘트라스트가 향상된 상기 파노라마 영상을 복수의 단위 영역으로 구분하고, 구분된 상기 단위 영역별로 이진화 처리하여 상기 이진화 영상을 생성하는 이진화 처리단계를 포함할 수 있다.

본 발명에 있어서, 상기 이진화 영상 필터링단계는, 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하는 배경영역 필터링단계, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하는 차선 후보영역 필터링단계 및 상기 차선 후보영역을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역을 삭제하여 상기 차선 구성영역을 결정하는 차선 구성영역 결정단계를 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 도출단계는, 복수개의 상기 차선 구성영역상에 복수개의 좌표를 설정하는 좌표 설정단계, 서로 인접한 상기 좌표를 연결하여 복수개의 상기 가상선을 형성하는 가상선 형성단계, 복수개의 상기 가상선 각각의 곡률을 산출하는 곡률 산출단계 및 복수개의 상기 가상선 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선을 상기 차선영역으로 결정하는 차선영역 결정단계를 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석단계의 분석 결과에 따라 상기 차량의 운전을 지원하는 운전 지원단계를 더 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석단계에서 상기 차량이 상기 차선과 접촉하는 것으로 분석되는 경우, 상기 운전 지원단계는 상기 차량이 상기 차선과 접촉하지 않도록 상기 차량의 주행 방향 변경을 지원할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석단계에서 상기 차량이 상기 차선과 접촉하는 것으로 분석되는 경우, 상기 운전 지원단계는 상기 차량의 운전자에게 차선 이탈 경보를 제공할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석단계에서 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선과 접촉하지 않는 것으로 분석되는 경우, 상기 운전 지원단계는 상기 차량의 정속주행 또는 가속주행을 지원할 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 운전 지원 시스템은, 주행중 또는 주정차중인 자기 차량의 주변을 촬영하고, 촬영된 영상에 따라 상기 자기 차량의 운전을 지원하는 운전 지원 시스템으로서, 상기 자기 차량에 장착되어 상기 자기 차량 주변의 영상을 촬영하는 적어도 하나의 촬영부, 상기 영상 중 복수개의 차선영역을 검출하는 차선영역 검출부 및 상기 곡률에 따라 복수개의 상기 차선영역이 상기 영상 내에서 상기 자기 차량으로부터 미리 결정된 거리 이상 위치하는지 분석하는 차선영역 이탈 분석부를 포함하고, 상기 차선영역 이탈 분석부가 복수개의 상기 차선영역이 상기 영상 내에서 상기 자기 차량으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석하는 경우, 상기 촬영부는 상기 곡률 정도에 따라 회전할 수 있다.

본 발명에 있어서, 상기 촬영부는 상기 자기 차량의 전방 영역에 적어도 하나가 구비되어 상기 자기 차량의 전방 영역으로부터 상기 자기 차량 주변의 영상을 촬영할 수 있다.

본 발명에 있어서, 상기 촬영부는 가시광선 카메라 모듈, 적외선 카메라 모듈, 열화상 카메라 모듈 중 적어도 하나를 복수개 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 검출부는, 차선 후보영역이 백색으로 나타나고 상기 차선 후보영역 외의 배경영역이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상을 생성하는 이진화 영상 생성부, 상기 이진화 영상에서 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하여 상기 이진화 영상중 상기 자기 차량 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역을 결정하는 이진화 영상 필터링부 및 서로 인접한 상기 차선 구성영역을 곡률이 최소화되게 연결하여 복수개의 차선영역을 도출하는 차선영역 도출부를 포함할 수 있다.

본 발명에 있어서, 상기 이진화 영상 생성부는, 상기 영상을 스트레칭하여 상기 영상의 콘트라스트를 향상시키는 스트레칭부 및 콘트라스트가 향상된 상기 영상을 복수의 단위 영역으로 구분하고, 구분된 상기 단위 영역별로 이진화 처리하여 상기 이진화 영상을 생성하는 이진화 처리부를 포함할 수 있다.

본 발명에 있어서, 상기 이진화 영상 필터링부는, 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하는 배경영역 필터링부, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하는 차선 후보영역 필터링부 및 상기 차선 후보영역을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역을 삭제하여 상기 차선 구성영역을 결정하는 차선 구성영역 결정부를 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 도출부는, 복수개의 상기 차선 구성영역상에 복수개의 좌표를 설정하는 좌표 설정부, 서로 인접한 상기 좌표를 연결하여 복수개의 상기 가상선을 형성하는 가상선 형성부, 복수개의 상기 가상선 각각의 곡률을 산출하는 곡률 산출부 및 복수개의 상기 가상선 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선을 상기 차선영역으로 결정하는 차선영역 결정부를 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석부는 상기 곡률을 미리 결정된 기준곡률과 비교하여 상기 곡률이 상기 기준곡률 이상일 경우, 복수개의 상기 차선영역이 상기 영상 내에서 상기 자기 차량으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석할 수 있다.

본 발명에 있어서, 상기 촬영부는 상기 차선영역 이탈 분석부의 분석결과에 따라 상기 촬영부의 회전을 제어하는 회전 제어부에 의해 회전이 제어될 수 있다.

본 발명에 있어서, 상기 촬영부는 상기 차선영역 이탈 분석부의 분석결과에 따라 회전하여, 복수개의 상기 차선영역을 상기 영상 내에서 상기 자기 차량으로부터 미리 결정된 거리 이상 위치시킬 수 있다.

본 발명에 있어서, 상기 촬영부는 상기 자기 차량 운전자의 핸들 회전 방향에 따라 상기 자기 차량의 주행이 예상되는 도로의 영상으로부터 검출된 복수개의 상기 차선영역의 곡률 정도에 따라 회전할 수 있다.

본 발명에 있어서, 상기 운전 지원 시스템은, 상기 자기 차량 주변의 목표 객체를 인식하는 목표 객체 인식부, 상기 자기 차량 및 상기 목표 객체와의 거리를 분석하는 목표 객체 분석부 및 상기 목표 객체 분석부의 분석 결과에 따라 상기 자기 차량의 운전을 지원하는 운전 지원부를 포함할 수 있다.

본 발명에 있어서, 상기 목표 객체 분석부가, 상기 자기 차량이 상기 목표 객체와 미리 결정된 거리 이하로 근접한 것으로 분석하는 경우, 상기 운전 지원부는 상기 자기 차량의 제동을 지원할 수 있다.

본 발명에 있어서, 상기 목표 객체 분석부가, 상기 자기 차량이 상기 목표 객체와 미리 결정된 거리 이상을 유지하는 것으로 분석하는 경우, 상기 운전 지원부는 상기 자기 차량의 정속주행 또는 가속주행을 지원할 수 있다.

또한, 본 발명의 또 다른 실시예에 따른 운전 지원 방법은, 주행중 또는 주정차중인 차량의 주변을 촬영하고, 촬영된 영상에 따라 상기 자기 차량의 운전을 지원하는 운전 지원 방법으로서, 상기 차량에 장착된 적어도 하나의 촬영부를 통해 상기 차량 주변의 영상을 촬영하는 촬영단계, 상기 영상 중 복수개의 차선영역을 검출하는 차선영역 검출단계 및 상기 곡률에 따라 복수개의 상기 차선영역이 상기 영상 내에서 상기 자기 차량으로부터 미리 결정된 거리 이상 위치하는지 분석하는 차선영역 이탈 분석단계를 포함하고, 상기 차선영역 이탈 분석단계에서 복수개의 상기 차선영역이 상기 영상 내에서 상기 자기 차량으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석되는 경우, 상기 촬영단계는 상기 곡률 정도에 따라 적어도 하나의 상기 촬영부를 회전시킬 수 있다.

본 발명에 있어서, 상기 촬영부는 상기 자기 차량의 전방 영역에 적어도 하나가 구비되어 상기 자기 차량의 전방 영역으로부터 상기 자기 차량 주변의 영상을 촬영할 수 있다.

본 발명에 있어서, 상기 촬영부는 가시광선 카메라 모듈, 적외선 카메라 모듈, 열화상 카메라 모듈 중 적어도 하나를 복수개 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 검출단계는, 차선 후보영역이 백색으로 나타나고 상기 차선 후보영역 외의 배경영역이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상을 생성하는 이진화 영상 생성단계, 상기 이진화 영상에서 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하여 상기 이진화 영상중 상기 자기 차량 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역을 결정하는 이진화 영상 필터링단계 및 서로 인접한 상기 차선 구성영역을 곡률이 최소화되게 연결하여 복수개의 차선영역을 도출하는 차선영역 도출부를 포함할 수 있다.

본 발명에 있어서, 상기 이진화 영상 생성단계는, 상기 영상을 스트레칭하여 상기 영상의 콘트라스트를 향상시키는 스트레칭단계 및 콘트라스트가 향상된 상기 영상을 복수의 단위 영역으로 구분하고, 구분된 상기 단위 영역별로 이진화 처리하여 상기 이진화 영상을 생성하는 이진화 처리단계를 포함할 수 있다.

본 발명에 있어서, 상기 이진화 영상 필터링단계는, 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하는 배경영역 필터링단계, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하는 차선 후보영역 필터링단계 및 상기 차선 후보영역을 둘러싸는 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역을 삭제하여 상기 차선 구성영역을 결정하는 차선 구성영역 결정단계를 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 도출단계는, 복수개의 상기 차선 구성영역상에 복수개의 좌표를 설정하는 좌표 설정단계, 서로 인접한 상기 좌표를 연결하여 복수개의 상기 가상선을 형성하는 가상선 형성단계, 복수개의 상기 가상선 각각의 곡률을 산출하는 곡률 산출단계 및 복수개의 상기 가상선 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선을 상기 차선영역으로 결정하는 차선영역 결정단계를 포함할 수 있다.

본 발명에 있어서, 상기 차선영역 이탈 분석단계는 상기 곡률을 미리 결정된 기준곡률과 비교하여 상기 곡률이 상기 기준곡률 이상일 경우, 복수개의 상기 차선영역이 상기 영상 내에서 상기 자기 차량으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석할 수 있다.

본 발명에 있어서, 상기 촬영단계는 상기 차선영역 이탈 분석단계의 분석결과에 따라 상기 촬영부의 회전을 제어하는 회전 제어부를 통해 상기 촬영부의 회전을 제어할 수 있다.

본 발명에 있어서, 상기 촬영단계는 상기 차선영역 이탈 분석단계의 분석결과에 따라 상기 촬영부를 회전시켜, 복수개의 상기 차선영역을 상기 영상 내에서 상기 자기 차량으로부터 미리 결정된 거리 이상 위치시킬 수 있다.

본 발명에 있어서, 상기 촬영단계는 상기 자기 차량 운전자의 핸들 회전 방향에 따라 상기 자기 차량의 주행이 예상되는 도로의 영상으로부터 검출된 복수개의 상기 차선영역의 곡률 정도에 따라 상기 촬영부를 회전시킬 수 있다.

본 발명에 있어서, 상기 운전 지원 방법은, 상기 자기 차량 주변의 목표 객체를 인식하는 목표 객체 인식단계, 상기 자기 차량 및 상기 목표 객체와의 거리를 분석하는 목표 객체 분석단계 및 상기 목표 객체 분석부의 분석 결과에 따라 상기 자기 차량의 운전을 지원하는 운전 지원단계를 포함할 수 있다.

본 발명에 있어서, 상기 목표 객체 분석단계에서, 상기 자기 차량이 상기 목표 객체와 미리 결정된 거리 이하로 근접한 것으로 분석되는 경우, 상기 운전 지원단계는 상기 자기 차량의 제동을 지원할 수 있다.

본 발명에 있어서, 상기 목표 객체 분석단계에서, 상기 자기 차량이 상기 목표 객체와 미리 결정된 거리 이상을 유지하는 것으로 분석되는 경우, 상기 운전 지원단계는 상기 자기 차량의 정속주행 또는 가속주행을 지원할 수 있다.

본 발명의 일 실시예에 따르면, 차량에 구비된 복수의 카메라로부터 획득된 차량의 사방 영상을 이진화하여 복수회의 노이즈 처리를 통해 차선영역을 검출함으로써 보다 정확한 차선영역의 검출이 가능한 운전 지원 시스템의 제공이 가능하다.

또한, 차량이 주행중인 도로의 곡률에 따라 회전하는 도로 인식수단을 포함하여 도로의 곡률에 관계없이 도로상 차선영역의 검출이 가능하므로 보다 정확한 운전 지원 시스템을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 운전 지원 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 복수개의 촬영부가 장착된 차량 및 촬영부의 화각을 도시한다.
도 3은 본 발명의 일 실시예에 따른 촬영부의 사시도이다.
도 4는 본 발명의 일 실시예에 따라 파노라마 영상 이미지의 콘트라스트가 향상되는 것을 도시한다.
도 5는 본 발명의 일 실시예에 따라 콘트라스트가 향상된 파노라마 영상을 단위 영역별로 이진화 처리하는 것을 도시한다.
도 6은 배경영역 필터링부에서의 이진화 영상의 변화를 도시한다.
도 7은 차선 후보영역 필터링부에서의 이진화 영상의 변화를 도시한다.
도 8는 차선 구성영역 결정부에서의 이진화 영상의 변화를 도시한다.
도 9는 본 발명의 일 실시예에 따라 차선 구성영역으로부터 차선영역이 도출되는 것을 도시한다.
도 10은 본 발명의 일 실시예에 따라 상기 차량 주변의 영상에 적용된 상기 차선영역을 도시한다.
도 11은 본 발명의 일 실시예에 따라 운전 지원부의 지원을 받아 차량의 조향을 제어하는 구성을 도시한다.
도 12는 본 발명의 일 실시예에 따라 운전 지원부의 지원을 받아 조향이 제어되는 차량을 도시한다.
도 13은 본 발명의 일 실시예에 따라 운전 지원부의 지원을 받아 자동으로 제어되는 가속페달을 도시한다.
도 14는 본 발명의 일 실시예에 따라 운전 지원부와 연결이 차단되어 수동모드로 전환된 가속페달을 도시한다.
도 15는 본 발명의 일 실시예에 따른 운전 지원 방법의 순서도이다.
도 16은 본 발명의 또 다른 실시예에 따른 운전 지원 시스템의 구성도이다.
도 17은 본 발명의 또 다른 실시예에 따른 촬영부의 사시도이다.
도 18은 본 발명의 일 실시예에 따라 촬영부로부터 촬영된 영상으로부터 차선영역이 검출되는 것을 도시한다.
도 19는 본 발명의 일 실시예에 따라 자기 차량이 주행하는 도로의 곡률에 따른 촬영부의 회전 및 촬영부의 영상 촬영범위를 도시한다.
도 20은 본 발명의 일 실시예에 따른 촬영부의 회전을 도시한다.
도 21은 본 발명의 또 다른 실시예에 따른 운전 지원 방법의 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함할 수 있다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 수 있다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 “연결된다” 거나 “접속된다”등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결된다거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다.

도 1은 본 발명의 일 실시예에 따른 운전 지원 시스템의 구성도이다.

본 발명의 일 실시예에 따른 운전 지원 시스템은 주행 중 또는 주정차 중인 차량의 주변을 촬영하고, 촬영된 영상에 따라 상기 차량의 운전을 지원하는 운전 지원 시스템으로서, 상기 차량에 장착되어 상기 차량 주변의 영상을 촬영하는 적어도 하나의 촬영부(110), 차선 후보영역이 백색으로 나타나고 상기 차선 후보영역 외의 배경영역이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상을 생성하는 이진화 영상 생성부(120), 상기 이진화 영상에서 상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하여 상기 이진화 영상 중 상기 차량 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역을 결정하는 이진화 영상 필터링부(130), 서로 인접한 상기 차선 구성영역을 곡률이 최소화되게 연결하여 복수개의 차선영역을 도출하는 차선영역 도출부(140) 및 상기 차량 및 복수개의 상기 차선영역간의 상대거리를 판단하여, 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선영역 중 어느 하나와 접촉하는지 분석하는 차선영역 이탈 분석부(150)를 포함할 수 있다.

상기 촬영부(110)는 상기 차량에 적어도 하나가 장착되어 상기 차량 주변에 영상을 촬영하는 기능을 수행할 수 있다.

여기서, 상기 촬영부(110)는 상기 차량에 하나가 장착되어 상기 차량 주변의 영상을 촬영하도록 구성될 수 있으나, 이 경우 상기 촬영부(110)가 상기 차량의 전 영역에 간섭을 받지 않고 상기 차량 주변의 영상을 촬영하기 위해서 상기 차량의 중앙 상부의 높은 위치에서 장착되어야 하므로 상기 차량의 세로 부피가 증가하여 상기 차량의 미관이 저하될 수 있으며, 결과적으로 상기 차량의 주행안정성이 저하될 수 있다.

따라서 상기 촬영부(110)는 상기 차량의 상부 외곽영역을 따라 복수개가 구비되어 복수개의 상기 촬영부(110)를 통해 상기 차량 주변의 영상을 촬영하도록 구성되는 것이 바람직하다.

도 2는 본 발명의 일 실시예에 따라 복수개의 촬영부가 장착된 차량 및 촬영부의 화각을 도시한다.

도 2를 참조하면, 복수개의 상기 촬영부(110)는 상기 차량(1000)상에 비교적 높은 위치, 즉 상기 차량(1000) 상부의 외곽 영역에 복수개가 장착되어 상기 차량(1000) 주변의 영상을 검출할 수 있으며, 따라서 복수개의 상기 촬영부(110)가 상기 차량(1000) 주변의 영상을 촬영하는 경우 상기 촬영부(110)의 화각 내에 상기 차량(1000)이 포함되어 촬영되는 것을 최소화 할 수 있다.

여기서 복수개의 상기 촬영부(110)의 화각의 합은 360° 이상이 되도록 구성되어 복수개의 상기 촬영부(110)를 통해 상기 차량(1000)으로부터 상기 차량(1000) 주변의 모든 방향의 영상을 촬영하도록 구성될 수 있다. 즉 복수개의 상기 촬영부(110)는 인접한 상기 촬영부(110)간의 화각이 일정영역 겹치도록 구성될 수 있으며, 이에 따라 복수개의 상기 촬영부(110)는 상기 차량(1000)으로부터 상기 차량(1000) 주변의 모든 방향의 영상을 빠짐없이 검출할 수 있다.

도 3은 본 발명의 일 실시예에 따른 촬영부(110)의 사시도이다.

상기 촬영부(110)는 상기 차량(1000)에 장착되어 상기 차량(1000) 주변의 영상을 촬영하는 것을 주된 기능으로 하지만, 상기 차량(1000) 주변의 영상으로부터 검출될 수 있는 인식객체, 즉 피사체와 상기 차량(1000)과의 거리를 판단하는 기능 또한 상기 촬영부(110)의 중요한 기능 중 하나일 수 있다.

즉 상기 촬영부(110)는 상기 차량(1000) 주변의 영상을 촬영함과 동시에 상기 영상이 제공하는 피사체와 상기 차량(1000)간의 상대거리값을 제공하여 상기 차량(1000)이 상기 피사체에 대한 대응 주행을 가능하게 할 수 있다.

따라서, 상기 촬영부(110)는 상기 차량(1000) 주변의 모든 방향을 향하여 굴곡진 측면을 포함하며, 상기 측면을 따라, 바람직하게는 상기 측면상의 동일한 수평축을 따라 상기 차량(1000) 외부의 영상을 촬영하는 복수의 카메라 모듈(111,112)을 포함할 수 있다.

상기 촬영부(110)는 상기 카메라 모듈을 복수개 포함함으로써, 상기 차량(1000)으로부터 상기 피사체간의 상대거리를 판단할 수 있는데, 복수개의 상기 카메라 모듈(111,112)은 상기 촬영부(110)상에서 동일한 수평축상에 서로 다른 위치에 구비되므로, 복수개의 상기 카메라 모듈(111,112)로부터 촬영된 각각의 영상은 동일한 피사체를 동일한 영상규격 내에서 서로 다른 위치, 즉 서로 다른 좌우의 거리 차이(시차)를 두고 나타낼 수 있다.

따라서 상기 촬영부(110)는 복수의 카메라 모듈(111,112)로부터 제공된 각각의 영상에서 나타내는 동일한 피사체간의 상기 시차를 통하여 상기 촬영부(110), 다시 말해, 상기 촬영부(110)가 장착된 상기 차량(1000)과 상기 피사체간의 상대거리 값를 제공할 수 있다.

상기 촬영부(110)는 가시광선 카메라 모듈(111) 및 적외선 카메라 모듈(112) 중 적어도 하나를 포함할 수 있으며, 상술한 바와 같이, 상기 차량(1000)의 주변 영상을 촬영함과 더불어 상기 영상 내의 피사체와 상기 차량(1000)간의 상대거리를 판별하기 위하여 상기 가시광선 카메라 모듈(111) 및 상기 적외선 카메라 모듈(112) 중 적어도 하나를 복수개 포함하여 구성될 수 있다.

상기 촬영부(110)를 구성하는 상기 카메라 모듈(111,112)에 대해서 더욱 자세히 살펴보면, 상기 촬영부(110)에 포함될 수 있는 복수개의 상기 가시광선 카메라 모듈(111)은 CMOS(Complementary Metal Oxide Semiconductor) 카메라 모듈 또는 CCD(Charage-Coupled Device) 카메라 모듈일 수 있으며, 가시광선 대역인 약 400 내지 800 nm의 영역을 촬영하므로 빛을 통해 최적화된 영상을 얻을 수 있는 주간에 사용이 용이할 수 있다.

여기서 상기 가시광선 카메라 모듈(111)은 가시광선이 미약한 야간에는 촬영할 수 있는 가시광선 대역의 에너지가 매우 적어 별도의 조명장치를 병용하여 사용하지 않을 경우 촬영이 불가능할 수 있다. 그러나 상기 가시광선 카메라 모듈(111)을 상기 조명장치와 병용하여 사용할 경우, 상기 조명장치의 강도 및 종류에 따라 촬영될 수 있는 영상의 결과가 상이해질 수 있으므로 촬영된 영상 결과에 대한 신뢰도가 저하될 수 있다.

따라서 상기 촬영부(110)는 복수개의 상기 가시광선 카메라 모듈(111)과 함께 상기 적외선 카메라 모듈(112)을 복수개 포함할 수 있으며, 주간에는 상기 가시광선 카메라 모듈(111)을 통해 상기 차량(1000) 주변의 영상을 촬영하고, 야간에는 상기 적외선 카메라 모듈(112)이 상기 가시광선 카메라 모듈(111)의 역할을 대신하도록 구성될 수 있다.

일반적으로 달빛이나 별빛이 존재하는 야간에는 580 nm 전후의 대역을 갖는 근적외선 에너지가 상당히 존재하여 상기 촬영부(110)는 상기 적외선 카메라 모듈(112)만으로도 상기 차량(1000) 외부의 영상을 충분히 촬영할 수 있다.

그러나 별빛은 존재하나 달빛이 없는 경우와 같이, 보다 더 어두운 야간에는 근적외선 에너지 또한 거의 존재하지 않으며, 대신 1000 내지 1200 nm 대역의 적외선 영역에서 상당한 에너지가 존재하게 된다. 따라서 상기 적외선 카메라 모듈(112)은 더욱 어두운 상황에 대비할 수 있도록 1000 내지 1200 nm 대역의 적외선을 촬영 가능한 상기 적외선 카메라 모듈(112)일 수 있다.

그러나 달빛과 별빛이 모두 존재함으로써, 보다 밝은 야간에는 상술한 바와 같이 1000 내지 1200 nm 대역의 적외선 에너지가 거의 존재하지 않으므로, 이를 보완하기 위해, 상기 촬영부(110)는 1000 내지 1200 nm 대역의 적외선을 방출하는 적외선 LED(113) 적어도 하나 포함할 수 있다. 이에 따라 비교적 어두운 야간, 즉 1000 내지 1200 nm 대역의 근적외선 에너지가 상당히 존재하는 야간에는 상기 적외선 카메라 모듈(112)만을 통하여 상기 차량(1000) 주변을 촬영할 수 있으며, 비교적 밝은 야간, 즉, 1000 내지 1200 nm 대역의 적외선 에너지가 거의 존재하지 않을 시에는, 상기 적외선 LED(113)를 통해 1000 내지 1200nm 대역 에너지의 적외선을 보완할 수 있으므로, 야간별로 상이할 수 있는 밝기에 관계없이 모든 야간에서 상기 적외선 카메라 모듈(112)을 통한 영상의 촬영이 가능하다.

상술한 바와 반대로, 상기 적외선 카메라 모듈(112)이 850 nm 전후 대역의 근적외선을 촬영하며, 비교적 어두운 야간, 즉, 850 nm 전후 대역의 근적외선이 거의 검출되지 않을 시에는 850 nm 전후 대역의 근적외선을 조사하는 상기 적외선 LED(113)를 통해 이를 보완하도록 구성될 수 있다.

그러나 1000 내지 1200 nm의 적외선 파장은 육안으로 인지하지 못하는 형상을 감지하는 특성뿐만 아니라 850 nm 전후 대역의 근적외선에 비해 더 멀리까지 에너지 전달이 가능하므로, 상술한 바와 같은 구성, 즉, 상기 적외선 카메라 모듈(112)은 1000 내지 1200 nm의 적외선을 촬영하며, 1000 내지 1200 nm의 적외선 파장을 조사하는 상기 적외선 LED(113)가 비교적 밝은 야간에 상기 적외선 카메라 모듈(112)을 보완하도록 구성되는 것이 보다 바람직하다.

상기 촬영부(110)는 적어도 하나의 에어 분출부(114)를 포함할 수 있다. 상기 에어 분출부(114)는 도 3에 도시된 바와 같이 상기 가시광선 카메라 모듈(111) 및 상기 적외선 카메라 모듈(112)의 렌즈에 압축 에어를 분사하여 세정함으로써, 상기 가시광선 카메라 모듈(111) 및 상기 적외선 카메라 모듈(112)의 렌즈가 오염에 의해 기능이 저하되는 것을 사전에 방지할 수 있다.

상기 이진화 영상 생성부(120)는 차선 후보영역이 백색으로 나타나고 상기 차선 후보영역 외의 배경영역이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상을 생성할 수 있다.

구체적으로 상기 이진화 영상 생성부(120)는 복수개의 상기 촬영부(110)를 통해 촬영된 영상들을 조합하여 파노라마 영상을 생성하는 파노라마 영상 생성부(121), 상기 파노라마 영상을 스트레칭하여 상기 파노라마 영상의 콘트라스트(contrast)를 향상시키는 스트레칭부(122), 콘트라스트가 향상된 상기 파노라마 영상을 복수의 단위 영역으로 구분하고, 구분된 상기 단위 영역별로 이진화 처리하여 상기 이진화 영상을 생성하는 이진화 처리부(123)를 포함할 수 있다.

도 4는 본 발명의 일 실시예에 따라 파노라마 영상 이미지의 콘트라스트가 향상되는 것을 도시한다. 도 4의 (a)는 상기 파노라마 영상 생성부를 통해 생성된 상기 파노라마 영상이다.

본 발명의 일 실시예에 따른 운전 지원 시스템은 상기 차량(1000)이 주행하는 도로로부터 상기 도로의 차선에 대응되는 형태인 차선영역을 검출하기 위해 상기 차량(1000) 주변을 촬영하는 복수의 상기 촬영부(110)를 포함하므로, 복수개의 상기 촬영부(110)를 통해 촬영된 복수개의 영상이 상기 파노라마 영상 생성부(121)를 통해 조합되어 상기 파노라마 영상(20)이 생성될 수 있다.

상기 파노라마 영상(20)은 복수개의 상기 영상이 조합되어 생성된 것으로, 그 화질이나 화면의 특징은 서로 동일하므로 이하 본 발명의 명세서를 설명함에 있어서, 상기 파노라마 영상(20)과 상기 영상은 동일한 도면부호를 공유할 수 있으며, 동일한 도면 구성을 통하여 설명될 수 있다.

상기 파노라마 영상(20)으로 제공되는 상기 차량(1000) 주변의 영상은 종래의 도로상 주행방향의 전방만을 촬영하여 제공되었던 차량(1000) 주변의 영상(20)과 달리 상기 차량(1000) 주변 사방의 영상(20)을 제공하므로 상기 차선영역 검출에 있어서 더욱 신뢰성 있는 결과를 제공할 수 있다.

복수개의 상기 촬영부(110) 각각은 상술한 바와 같이, 복수개의 상기 카메라 모듈(111,112)을 포함하여, 각각의 상기 카메라 모듈로부터 촬영된 영상(20)을 통하여 상기 영상(20) 중 피사체와의 거리를 판단하도록 구성되므로, 상기 파노라마 영상 생성부(121)를 통해 형성되는 상기 파노라마 영상(20)은 복수개의 상기 촬영부(110) 각각이 포함하는 복수개의 상기 카메라 모듈(111,112)로부터 조합된 영상(20)이 다시 조합된 영상(20)이거나 적어도 하나의 상기 카메라 모듈로부터 제공된 영상(20)이 조합된 영상(20)일 수 있다.

상기 파노라마 영상 생성부(121)를 통해 생성된 상기 파노라마 영상은 상기 스트레칭부(122)를 통해 콘트라스트(contrast)가 향상될 수 있다.

일반적으로 영상의 콘트라스트는 영상 내 밝고 어두운 영역의 차 즉, 명암비의 크기를 의미하는 것으로 이 명암비가 클수록 콘트라스트가 높은 영상이라 볼 수 있다. 높은 콘트라스트를 갖는 영상은 영상 내 어두운 영역의 차이가 명확하여 선명도가 우수한 이미지라 할 수 있으므로 콘트라스트가 낮은 영상을 이미지 처리하여 높은 콘트라스트를 갖는 영상으로 변환하게 되면 해당 영상의 선명도를 향상시킬 수 있다.

상기 스트레칭부(122)는 상기 파노라마 영상(20) 각 픽셀이 갖는 영상레벨의 최소 영상레벨 및 최대 영상레벨간의 범위를 확장하여 상기 파노라마 영상(20)의 영상레벨 분포를 더욱 고르게 분산시킬 수 있으며, 이로 인해 상기 파노라마 영상(20)의 명암비를 더욱 크게하여 상기 파노라마 영상(20)을 더욱 선명하게 할 수 있다.

상기 스트레칭부(122)는 통상 업자에게 일반적인 방식인 영상의 히스토그램을 추출하여 상기 히스토그램의 최소 영상레벨 및 최대 영상레벨을 확장하는 방식인 히스토그렘 스트레칭을 통해 상기 파노라마 영상(20)의 콘트라스트를 향상시킬 수 있으며, 이에 대한 과정의 자세한 설명은 생략할 수 있다.

상기 이진화 처리부(123)는 콘트라스트가 향상된 상기 파노라마 영상(25)을 이진화 처리하여 상기 차선 후보영역이 백색으로 나타나고 상기 차선 후보영역 외의 배경영역이 흑색으로 나타나는 상기 이진화 영상을 생성할 수 있다.

상기 이진화 영상 내에서 형성될 수 있는 백색의 상기 차선 후보영역 및 흑색의 상기 배경영역은 본 발명의 중요한 목적 중 하나인 상기 차량(1000) 주변의 상기 영상으로부터 상기 차량(1000)이 주행중인 도로의 차선에 대응하는 영역인 상기 차선영역을 검출하는데 중요한 정보를 제공할 수 있다.

즉, 상기 차선 후보영역은 상기 차선영역을 형성시킬 수 잇는 영역으로써, 본 발명에 따른 상기 이진화 영상 중에서는 그 색의 범위를 백색으로 한정하여 제공될 수 있으며, 상기 차선 후보영역 외의 상기 배경영역은 흑색으로 한정하여 제공됨으로써, 상기 이진화 영상으로부터 상기 차선영역을 검출할 수 있는 후보군을 제공하게 된다.

일반적인 이진화 처리 과정은, 처리하게 될 영상의 밝기값 범위 중 하나의 밝기값을 기준 밝기값으로 선택하여 상기 기준 밝기값을 기준으로 상기 기준 밝기값보다 큰 밝기값을 백색으로 나타내며, 작은 밝기값을 흑색으로 나타내는 것이 일반적이다.

상기 이진화 처리부(123)는 콘트라스트가 향상된 상기 영상(25)이 포함하는 모든 밝기값 범위 중 하나의 기준 밝기값을 선택하여 상기 기준 밝기값을 기준으로 더 큰 밝기값을 갖는 영역을 백색으로 더 작은 밝기값을 갖는 영역을 흑색으로 설정할 수 있다. 여기서, 상기 기준 밝기값은 상기 영상(20) 중 나타날 수 있는 상기 도로상 차선의 밝기값보다 어두운 밝기값을 갖는 것이 바람직하며, 이를 위해 상기 기준 밝기값은 상기 촬영부(110)를 통해 촬영된 영상에서 나타날 수 있는 상기 도로상 차선의 밝기값을 사전에 미리 측정하여 측정된 밝기값 범위 내에서 선택되는 것이 바람직하다.

상기 이진화 처리부(123)가 상기 기준 밝기값을 결정하는 방식으로는 상기한 바와 같이 미리 측정된 도로상 차선의 밝기값을 토대로 하나의 기준 밝기값이 결정되거나, 콘트라스트가 향상된 상기 영상(25) 중 형성된 경계면의 밝기 평균값들을 이용하여 결정되거나, 콘트라스트가 향상된 상기 영상(25)의 히스토그램의 산과 계곡의 분포를 이용하여 결정되는 방법 등이 사용될 수 있으며, 콘트라스트가 향상된 상기 영상(25)을 상기 차선 후보영역 및 상기 배경영역으로 구분하여 나타낼 수 있는 기준 밝기값을 결정할 수 있는 방식이라면 어떠한 방식이라도 상관없다.

도 5는 본 발명의 일 실시예에 따라 콘트라스트가 향상된 파노라마 영상을 단위 영역별로 이진화 처리하는 것을 도시한다.

복수개의 상기 촬영부(110)를 통해 촬영된 복수개의 상기 영상을 조합하여 생성된 상기 파노라마 영상(20)은 도로상 주행하는 차량(1000)으로부터 발생되는 조명, 가로등 또는 햇빛이나 달빛과 같이 다양한 조명에 의해 부분적인 조명영역이 생성될 수 있는데, 상기 조명영역으로 인하여 정확한 상기 이진화 영상(30), 즉 명확한 경계 구분이 형성된 상기 이진화 영상(30)의 생성에 문제가 발생될 수 있다.

따라서 상기 이진화 처리부(123)는 콘트라스트가 향상된 상기 파노라마 영상을 복수의 단위 영역(l)으로 구분하고, 구분된 상기 단위 영역(l)별로 이진화 처리하여 상기 이진화 영상(30)을 생성할 수 있다. 이를 통해, 콘트라스트가 향상된 상기 파노라마 영상(25)이 이진화 처리될 시, 각각의 단위 영역(l)별 조명영역을 제거하기가 상대적으로 수월하므로 전체적인 영상을 일괄적으로 이진화 처리하는 것에 대비하여 결과물의 화질이 개선될 수 있으며, 백색을 갖는 상기 차선 후보영역(w) 및 흑색을 갖는 상기 배경영역(b)이 명확하게 구분된 상기 이진화 영상(30)을 얻을 수 있다.

상기 이진화 영상 필터링부(130)는 상기 이진화 영상(30)에서 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하여 상기 이진화 영상 중 상기 차량(1000) 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역(31)을 결정할 수 있다.

구체적으로 상기 이진화 영상 필터링부(130)는, 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하는 배경영역 필터링부(131), 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하는 차선 후보영역 필터링부(132) 및 상기 차선 후보영역을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율 이하인 상기 가상의 직사각형에 포함되는 상기 차선 후보영역을 삭제하여 상기 차선 구성영역(31)을 결정하는 차선 구성영역 결정부(133)를 포함할 수 있다.

도 6은 배경영역 필터링부에서의 이진화 영상의 변화를 도시하며, 도 7은 차선 후보영역 필터링부에서의 이진화 영상의 변화를 도시하고, 도 8은 차선 구성영역(31) 결정부에서의 이진화 영상의 변화를 도시한다.

도 6을 참조하면, 상기 배경영역 필터링부(131)는 상기 이진화 영상(30) 중 상기 차선 후보영역(w) 내부에 존재하는 복수개의 상기 배경영역(b) 중 미리 결정된 면적 이하, 구체적으로, 상기 차선 구성영역(31)보다 작은 면적을 갖는 상기 배경영역(b)을 백색화하는 역할을 수행함으로써 상기 차선 구성영역(31)의 형상을 명확하게 할 수 있다.

상기 차선 구성영역(31)의 면적은 미리 측정된 값, 즉 본 발명에 따른 운전 지원 시스템이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)의 면적값으로부터 도출될 수 있으며, 상기 배경영역 필터링부(131)는 상기 차선 구성영역(31) 내부에 존재하는 상기 배경영역(b)의 보다 확실한 백색화를 위해 복수개의 상기 차선 구성영역(31)의 면적 중 최소값 미만의 면적을 갖는 상기 배경영역(b)을 백색화함으로써 복수개의 상기 차선 구성영역(31)의 형상을 전체적으로 명확하게 할 수 있다.

상기 차선 후보영역 필터링부(132)는 상기 이진화 영상(30) 중 존재하는 복수개의 상기 차선 후보영역(w) 중 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제할 수 있다. 상기 차선 후보영역 필터링부(132)는 상기 배경영역 필터링부(131)에서와 마찬가지로 본 발명에 따른 운전 지원 시스템이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)의 면적보다 작은 상기 차선 후보영역(w)을 삭제할 수 있는데, 이를 통해 상기 이진화 영상(30) 중, 상기 차선 구성영역(31)의 면적보다 작은 상기 차선 후보영역(w)이 삭제됨으로써, 상기 이진화 영상(30) 중 상기 차선 구성영역(31)의 결정을 수월하게 할 수 있다.

본 발명의 일 실시예에 따르면, 상기 차선 구성영역(31)의 형상은 상기 차량(1000)이 주행하는 도로상의 상기 차선의 형상과 동일한 것으로서 선 형태일 수 있다.

따라서, 상기 차선 구성영역 결정부(133)는, 상기 이진화 영상(30) 중 복수개의 상기 차선 후보영역(w) 각각을 둘러싸는 복수개의 가상의 직사각형 중, 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역(w)을 삭제하여 상기 차선 구성영역(31)을 결정할 수 있다.

복수개의 상기 차선 후보영역(w) 각각을 둘러싸는 복수개의 상기 가상의 직사각형은 긴 변의 길이 대비 짧은 변의 길이 비율이 감소할수록 단축 대비 장축이 긴 선 모양의 상기 차선 구성영역(31)이 내부에 위치할 수 있다. 반대로, 긴 변의 길이 대비 짧은 변의 길이 비율이 증가할수록 상기 가상의 직사각형 내부에 위치할 수 있는 상기 차선 구성영역(31)은 상기 가상의 직사각형 내부에서 선 모양형태가 아닌 사각형이나 원형과 같은 도형 형태로 존재하게 된다.

따라서 상기 차선 구성영역(31) 결정부(133)는 복수개의 상기 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 수치를 초과하는 상기 가상의 직사각형의 내부에 위치하는 상기 차선 구성영역(31)을 삭제하여, 상기 이진화 영상(30) 중 복수개의 상기 차선 구성영역(31)이 될 수 있는 상기 차선 후보영역(w)을 제외한 나머지 상기 차선 후보영역(w)을 삭제할 수 있다.

여기서, 상기 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율의 미리 결정된 수치는 본 발명에 따른 운전 지원 시스템이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)을 둘러쌓는 가상의 직사각형의 긴 변의 길이 및 짧은 변의 길이 비율로부터 도출될 수 있으며, 바람직하게는, 미리 측정된 복수개의 상기 가상의 직사각형의 긴 변의 길이 및 짧은 변의 길이 비율 중 최대값으로부터 도출될 수 있다.

상술한 바와 같이 상기 이진화 영상 필터링부(130)는 상기 이진화 영상(30)으로부터 상기 차선 구성영역(31)을 결정하기 위하여 3단계의 영상 처리단계, 즉, 복수개의 상기 차선 후보영역(w)의 내부 중 형성된 미리 결정된 면적 이하의 상기 배경영역(b), 즉 상기 차선 구성영역(31)의 면적 미만의 상기 배경영역(b)을 백색화하고, 복수개의 상기 차선 후보영역(w) 중 상기 차선 구성영역(31)의 면적 미만의 상기 차선 후보영역(w)을 삭제하며, 선 형태 이외의 상기 차선 후보영역(w)을 삭제하는 방식으로 상기 차선 구성영역(31)을 결정할 수 있다.

따라서, 본 발명의 일 실시예에 따른 운전 지원 시스템에서 상기 차선영역을 검출하는 방식은, 종래의 방식인 이진화 영상 중 추출될 수 있는 좌표를 통하여 직선의 방정식을 도출하여 상기 차선영역을 검출하는 방식보다 더욱 정확한 차선의 검출이 가능할 수 있다.

도 9는 본 발명의 일 실시예에 따라 차선 구성영역으로부터 차선영역이 도출되는 것을 도시한다.

상기 차선영역 도출부(140)는 서로 인접한 상기 차선 구성영역(31)을 곡률이 최소화되게 연결하여 복수개의 상기 차선영역(33)을 도출할 수 있다. 구체적으로 상기 차선영역 도출부(140)는 복수개의 상기 차선 구성영역(31)상에 복수개의 좌표(32)를 설정하는 좌표 설정부(141), 서로 인접한 상기 좌표(32)를 연결하여 복수개의 상기 가상선(i)을 형성하는 가상선 형성부(142), 복수개의 상기 가상선(i) 각각의 곡률을 산출하는 곡률 산출부 및 복수개의 상기 가상선(i) 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선(i)을 상기 차선영역(33)으로 결정하는 차선영역(33) 결정부를 포함할 수 있다.

상기 좌표 설정부(141)는 상기 이진화 영상 중 결정된 복수개의 상기 차선 구성영역(31)상에 복수개의 상기 좌표(32)를 설정할 수 있다. 상기 좌표(32)는 복수개의 상기 차선 구성영역(31) 각각의 최상단, 중간 및 최하단을 포함한 영역상에서 복수개가 설정될 수 있으며, 복수개의 상기 좌표(32)의 연결을 통하여 직선 또는 곡선이 형성될 수 있으면 각각의 상기 차선 구성영역(31)에 설정될 수 있는 상기 좌표(32)의 개수는 특별히 제한되지 않는다.

상기 가상선 형성부(142)는 서로 인접한 상기 좌표(32)를 연결하여 복수개의 상기 가상선(i)을 형성할 수 있다.

도 9의 (c)를 참조하면, 복수개의 상기 차선 구성영역(31)상에 형성된 복수개의 상기 좌표(32)는 인접한 상기 좌표(32)끼리 연결되어 복수개의 상기 가상선(i)이 형성된 것을 확인할 수 있다. 복수개의 상기 가상선(i) 중 상기 차량(1000)이 상기 도로상에서 주행하는 경로인 차선에 해당하는 상기 차선영역(33)이 되기 위해서는, 상기 도로상의 차선과 대응되는 형상, 즉, 복수개가 최소 곡률로 나란히 형성되어야 한다.

따라서, 상기 곡률 산출부(143)는 복수개의 상기 가상선(i)의 곡률을 산출할 수 있으며, 이에 따라, 복수개의 상기 가상선(i) 중 복수개의 상기 차선영역(33)에 해당하는 상기 가상선(i)을 결정할 수 있는 근거를 제공할 수 있다.

상기 차선영역 결정부(144)는 복수개의 상기 가상선(i) 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선(i)을 상기 차선영역(33)으로 결정할 수 있다.

상술한 바와 같이 상기 차선영역 도출부(140)는 복수개의 상기 차선 구성영역(31)상에 복수개의 상기 좌표(32)를 설정하여 복수개의 상기 좌표(32)가 곡률이 최소화 되는 방향으로 연결되어 동일한 곡률로 나란히 형성되는 복수개의 상기 차선영역(33)을 형성할 수 있다.

상기 차선영역 도출부(140)에 있어서, 복수개의 상기 차선영역(33)은 복수개의 상기 차선 구성영역(31)이 단순한 직선의 방정식을 통하여 연결되는 것이 아니라, 각각의 최상단, 중간 및 최하단을 포함한 복수의 영역에 설정된 복수의 상기 좌표(32)가 곡률이 최소화되는 방향으로 연결되어 형성될 수 있으므로, 단순히 서로 인접한 거리를 근거하여 연결됨으로써 부정확한 상기 차선영역(33)이 형성되는 것을 방지하여 더욱 신뢰성 있는 상기 차선영역(33)을 제공할 수 있는 효과가 있다.

상기 차선영역 도출부(140)를 통해 도출된 복수개의 상기 차선영역(33)은 상기 도로상의 상기 차량(1000)의 주행경로인 상기 차선에 대응된 형상으로써, 상기 차량(1000)의 주행 중 상기 차량(1000)의 주행경로 이탈여부를 판단하는 기준이 될 수 있다.

도 10은 본 발명의 일 실시예에 따라 상기 차량 주변의 영상에 적용된 상기 차선영역을 도시한다.

상기 차선영역 이탈 분석부(150)는 상기 차량(1000) 및 복수개의 상기 차선영역(33)간의 상대거리를 판단하여, 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선영역(33) 중 어느 하나와 접촉하는지 분석할 수 있다.

구체적으로, 상기 차선영역 이탈 분석부(150)는 상기 차량(1000) 및 복수개의 상기 차선영역(33)간의 상대거리를 판단하여, 상기 차량(1000)이 복수개의 상기 차선영역(33) 중 상기 차량(1000)과 인접한 한 쌍의 상기 차선 중 어느 하나와 접촉하는지, 즉 상기 차량(1000)이 한 쌍의 상기 차선영역(33)으로 나타날 수 있는 상기 차량(1000)의 주행경로 내에서 정상적으로 주행하는지 분석할 수 있다.

상기 차량(1000) 및 복수개의 상기 차선영역(33)간의 상대거리는 상술한 바와 같이 복수개의 상기 카메라 모듈(111,112)을 통해 피사체와의 상대 거리를 판단할 수 있는 스테레오 형식의 상기 촬영부(110)를 통하여 상기 차량(1000)으로부터 상기 차선영역(33)이 될 수 있는 상기 차선 후보영역(w)까지의 상대 거리값이 제공될 수 있으므로, 이에 대한 자세한 설명을 생략한다.

상기 차선영역 이탈 분석부(150)를 통해 상기 차량(1000)이 인접한 한 쌍의 상기 차선 구성영역(31) 중 어느 하나와 접촉한 것으로 분석될 시, 상기 차량(1000)은 주행하는 도로상에서 정상적인 주행경로를 벗어난 것으로 판단될 수 있으며, 이 경우, 상기 차량(1000)은 다른 차량, 장애물 및 보행자등과 충돌할 가능성이 높아질 수 있다.

따라서, 본 발명에 따른 운전 지원 시스템은 상기 차량(1000)이 상기 주행경로를 이탈할 시를 대비하여 이에 대응할 수 있는 대책을 마련해야 할 필요성이 있다.

이에 따라, 상기 운전 지원 시스템은 상기 차선영역 이탈 분석부(150)의 분석 결과에 따라 상기 차량(1000)의 운전을 지원하는 운전 지원부(160)를 더 포함할 수 있다.

도 11은 본 발명의 일 실시예에 따라 운전 지원부(160)의 지원을 받아 차량의 조향을 제어하는 구성을 도시하며, 도 12는 본 발명의 일 실시예에 따라 운전 지원부(160)의 지원을 받아 조향이 제어되는 차량을 도시한다.

상기 운전 지원부(160)는, 상기 차선영역 이탈 분석부(150)가 상기 차량(1000)이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 차량(1000)이 상기 차선과 접촉하지 않도록 상기 차량(1000)의 주행 방향 변경을 지원할 수 있다.

구체적으로 상기 운전 지원부(160)는 상기 차량(1000)의 주행방향을 제어하는 주행 조향 지원부(162)를 포함할 수 있으며, 상기 주행 조향 지원부(162)는 상기 차선영역 이탈 분석부(150)에서 상기 차량(1000)이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 차량(1000)의 조향을 제어하는 조향 제어부(1100)를 제어하여 상기 차량(1000)의 주행방향이 정상적인 경로로 변경되도록 상기 차량(1000)의 조향을 제어할 수 있다.

도 11을 참조하면, 상기 주행 조향 지원부(162)는 상기 차량(1000)의 주행 방향을 결정하는 조향 컨트롤러(1110)와 연결되어 상기 조향 컨트롤러(1110)를 제어함으로써 상기 조향 컨트롤러(1110)의 결정에 따라 회전하여 상기 차량(1000)의 주행 방향을 변경하는 스티어링 휠 샤프트(1160)의 회전을 제어하여 상기 차량(1000)의 주행 방향을 제어할 수 있다.

구체적으로 상기 운전 지원부(160)와 연결된 상기 조향 컨트롤러(1110)는 상기 스티어링 휠 샤프트(1160)에 회전 구동력을 전달하는 모터(1120)의 구동을 제어하며, 상기 모터(1120)의 회전축에 구비된 제1 기어(1130)는 상기 제2 기어(1150)와 밸트기어(1140)를 통해 연결되어 상기 제2 기어(1150)을 회전시킴으로써 동일한 회전축상에서 상기 제2 기어(1150)를 포함하는 상기 스티어링 휠 샤프트(1160)를 회전시켜 상기 차량(1000)의 주행 방향을 변경할 수 있다.

따라서 상기 운전 지원부(160)는 상기 차선영역 이탈 분석부(150)가 상기 차량(1000)이 인접한 상기 차선과 접촉하는 것으로 분석(도 12의 (b))하는 경우, 접촉한 상기 차선의 반대 방향으로 상기 스티어링 휠 샤프트(1160)가 회전되도록 상기 모터(1120)의 회전 구동방향을 결정할 수 있으며, 이로 인해, 상기 차량(1000)은 상기 차량(1000)과 접촉한 상기 차선과 다시 멀어지는 방향으로 주행하도록 주행 방향이 변경(도 12의 (c))될 수 있다.

상기 차선과 접촉한 후 상기 운전 지원부(160)의 지원을 통해 정상적인 상기 주행경로에 진입한 상기 차량(1000)은 다시 상기 운전 지원부(160)의 제어, 즉 상기 운전 지원부(160)의 제어에 따른 상기 모터(1120)의 회전 구동에 따라 상기 주행경로 내에서 정상적인 주행을 유지(도 12의 (d))할 수 있다.

상기 조향 제어부(1100)는 상기 조향 컨트롤러(1110)와 연결되어 상기 조향 컨트롤러(1110)와 상기 조향 지원부와의 연결을 차단하여 상기 차량(1000)이 철저히 운전자의 수동 조작에 의해 주행하도록 할 수 있는 자동 조향 해제 스위치(1190)를 더 포함할 수 있는데, 상기 차량(1000)의 운전자는 상기 주행 조향 지원부(162)의 지원을 선택적으로 상기 차량(1000)에 적용시킬 수 있으므로 더욱 유연한 상기 차량(1000)의 운영을 가능하게 할 수 있으며, 상기 주행 조향 지원부(162)가 이상 작동을 하여 상기 차량(1000)의 주행에 있어 위험 요소를 발생시킬 시, 상기 차량(1000)을 신속하게 수동 주행모드로 전환할 수 있으므로, 운전자는 상기 차량(1000)을 더욱 안전하게 운영할 수 있다.

상기 운전 지원부(160)는 상기 차선영역 이탈 분석부(150)가 상기 차량(1000)이 상기 차량(1000)과 인접한 상기 차선과 접촉한 것으로 분석하는 경우, 상기 차량(1000)의 운전자에게 차선 이탈 경보를 제공하는 차선 이탈 경보부(161)를 포함함으로써, 상기 차량(1000)의 주행경로 이탈에 대한 상기 운전자의 즉각적인 대처능력을 향상시킬 수 도 있다.

상술한 바와 같이 상기 운전 지원부(160)는 주행중인 상기 차량(1000)이 상기 차량(1000)의 주행경로를 벗어난 경우 상기 차량(1000)을 상기 주행경로 내로 재진입시켜 상기 차량(1000)의 안전한 주행을 지원하는 역할을 수행할 수 있다.

그러나 상기 운전 지원부(160)는 상기 차량(1000)의 주행 중 문제 발생에 대처하는 기능을 지원할 뿐만 아니라, 상기 차량(1000)이 정상적인 주행을 영위하고 있는 중에도 상기 차량(1000)의 주행을 지원할 수 있다. 구체적으로 상기 운전 지원부(160)는 상기 차량(1000)의 정속주행 또는 가속주행을 지원하는 순항 지원부(163)를 포함하여, 상기 차선영역 이탈 분석부(150)가 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선과 접촉하지 않아 정상적인 주행을 하고 있는 것으로 분석하는 경우, 상기 차량(1000)의 정속주행 또는 가속주행을 지원할 수 있다.

도 13은 본 발명의 일 실시예에 따라 운전 지원부(160)의 지원을 받아 자동으로 제어되는 가속페달(p)을 도시하며, 도 14는 본 발명의 일 실시예에 따라 운전 지원부(160)와 연결이 차단되어 수동모드로 전환된 가속페달(p)을 도시한다.

상기 가속페달(p)은 상기 차량(1000)의 가솔린과 공기의 양을 조절하여 상기 차량(1000) 기관의 회전을 빠르게 하여, 상기 차량(1000)을 가속 전진 가능하게 하는 구성으로써, 평상시에는 상기 차량(1000)의 운전자에 의해 눌려져서 기능하게 된다.

그러나 본 발명에 따른 운전 지원 시스템에서는 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선영역(33)과 접촉하지 않아 상기 차량(1000)이 정상적인 주행경로 내에서 주행하고 있는 것으로 분석될 경우, 상기 순항 지원부(163)는 상기 차량(1000)의 정속주행 또는 가속주행이 가능하도록 상기 가속페달(p)이 자동으로 눌려지도록 상기 차량(1000)의 순항 제어부(1200)를 제어할 수 있다.

도 12를 참조하면, 상기 차선영역 이탈 분석부(150)가 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선영역(33)과 접촉하지 않는 것으로 분석하는 경우, 상기 운전 지원부(160)는 솔레노이드(1210)의 전원을 인가시켜 상기 솔레노이드(1210)가 에어 펌프(1220)로부터 압축공기를 실린더(1230)에 전달하도록 할 수 있다. 이어서, 상기 압축공기를 공급받은 상기 실린더(1230)는 상기 실린더(1230)의 내부에 위치하여 상하로 구동하는 피스톤 로드(1240)를 상기 실린더(1230) 외부로 돌출시켜 상기 가속페달(p)을 누름으로써 상기 차량(1000)의 정속주행 또는 가속주행을 가능하게 한다.

상기 운전 지원부(160)의 지원에 따른 상기 차량(1000)의 정속주행 또는 가속주행은 상기 피스톤 로드(1240)의 돌출되는 정도에 의한 상기 가속 페달(p)이 눌려지는 정도에 따라 결정될 수 있다.

상기 순항 제어부(1200)는 상기 조향 제어부(1100)와 마찬가지로 상기 솔레노이드(1210)와 연결되어 상기 운전 지원부(160)의 지원에 따른 상기 가속페달(p)의 제어를 차단할 수 있는 비상 해제 스위치(1290)를 포함할 수 있다.

도 14를 참조하면, 상기 비상 해제 스위치(1290)가 작동하여 상기 솔레노이드(1210)의 전원이 차단됨으로써 상기 솔레노이드(1210)가 상기 에어 펌프(1220)로부터 압축공기를 상기 실린더(1230)에 전달하지 못해 상기 실린더(1230) 내부에 위치하는 상기 피스톤 로드(1240)가 상기 실린더(1230) 내부로 다시 삽입되는 것을 볼 수 있다.

이와 같이 상기 비상 해제 스위치(1290)가 작동할 시, 상기 가속 페달(p)을 누르는 상기 피스톤 로드(1240)는 상기 실린더(1230)의 내부로 삽입되므로 상기 가속 페달(p)은 상기 운전 지원부(160)의 지원이 차단된 완벽한 수동모드로 전환될 수 있다.

이하에서는 상기 운전 지원 시스템이 적용된 차량(1000)이 주행하거나 주정차 중일 시, 상기 차량(1000)의 주변을 촬영하고, 촬영된 영상에 따라 상기 차량(1000)의 운전을 지원하는 운전 지원 방법에 대해서 살펴볼 수 있다.

도 15는 본 발명의 일 실시예에 따른 운전 지원 방법의 순서도이다.

본 발명의 일 실시예에 따른 운전 지원 방법은 주행중인 차량(1000)의 주변을 촬영하고, 촬영된 영상에 따라 상기 차량(1000)의 운전을 지원하는 운전 지원 방법으로서, 상기 차량(1000)에 장착된 적어도 하나의 촬영부(110)를 통해 상기 차량(1000) 주변의 영상을 촬영하는 촬영단계(S110), 차선 후보영역(w)이 백색으로 나타나고 상기 차선 후보영역(w) 외의 배경영역(b)이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상(30)을 생성하는 이진화 영상 생성단계(S120), 상기 이진화 영상(30)에서 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하여 상기 이진화 영상 중 상기 차량(1000) 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역(31)을 결정하는 이진화 영상 필터링단계(S130), 서로 인접한 상기 차선 구성영역(31)을 곡률이 최소화되게 연결하여 복수개의 차선영역(33)을 도출하는 차선영역 도출단계(S140) 및 상기 차량(1000) 및 복수개의 상기 차선영역(33)간의 상대거리를 판단하여, 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선영역(33) 중 어느 하나와 접촉하는지 분석하는 차선영역 이탈 분석단계(S150)를 포함할 수 있다.

상기 촬영부(110)는 상기 차량(1000)에 적어도 하나가 장착되어 상기 차량(1000) 주변에 영상(20)을 촬영하는 기능을 수행할 수 있다. 상기 촬영부(110)는 상기 차량(1000)에 하나가 장착되어 상기 차량(1000) 주변의 영상(20)을 촬영하도록 구성될 수 있으나, 이 경우, 상기 촬영부(110)가 상기 차량(1000)의 전 영역에 간섭받지 않고 상기 차량(1000) 주변의 영상(20)을 촬영하기 위해서 상기 차량(1000)의 중앙 상부의 높은 위치에서 장착되어야 하므로 상기 차량(1000)의 세로 부피가 증가하여 상기 차량(1000)의 미관이 저하될 수 있으며, 결과적으로 상기 차량(1000)의 주행안정성이 저하될 수 있다.

따라서 상기 촬영부(110)는 상기 차량(1000)의 상부 외곽영역을 따라 복수개가 구비되어, 복수개의 상기 촬영부(110)를 통해 상기 차량(1000) 주변의 영상(20)을 촬영하도록 구성되는 것이 바람직하다.

복수개의 상기 촬영부(110)는 상기 차량(1000)상에 비교적 높은 위치, 즉 상기 차량(1000) 상부의 외곽 영역에 복수개가 장착되어 상기 차량(1000) 주변의 영상(20)을 검출할 수 있으며, 복수개의 상기 촬영부(110)가 상기 차량(1000) 주변의 영상을 촬영할 시, 상기 촬영부(110)의 화각 내에 상기 차량(1000)이 포함되어 촬영되는 것을 최소화 할 수 있다.

복수개의 상기 촬영부(110)의 화각의 합은 360° 이상이 되도록 구성되어 복수개의 상기 촬영부(110)를 통해 상기 차량(1000)으로부터 상기 차량(1000) 주변의 모든 방향의 영상(20)을 촬영하도록 구성될 수 있다. 즉, 복수개의 상기 촬영부(110)는 인접한 상기 촬영부(110)간의 화각이 일정영역 겹치도록 구성될 수 있으며, 따라서, 복수개의 상기 촬영부(110)는 상기 차량(1000)으로부터 상기 차량(1000) 주변의 모든 방향의 영상(20)을 빠짐없이 검출할 수 있다.

상기 촬영부(110)는 상기 차량(1000)에 장착되어 상기 차량(1000) 주변의 영상을 촬영하는 것을 주된 기능으로 하지만, 상기 차량(1000) 주변의 영상으로부터 검출될 수 있는 인식객체, 즉, 피사체와 상기 차량(1000)과의 거리를 판단하는 기능 또한 상기 촬영부(110)의 중요한 기능 중 하나일 수 있다. 즉, 상기 촬영부(110)는 상기 차량(1000) 주변의 영상(20)을 촬영함과 동시에 상기 영상(20)이 제공하는 피사체와 상기 차량(1000)간의 상대거리값을 제공하여 상기 차량(1000)이 상기 피사체에 대한 대응 주행을 가능하게 할 수 있다.

따라서 상기 촬영부(110)는 상기 차량(1000) 주변의 모든 방향을 향하여 굴곡진 측면을 포함하며, 상기 측면을 따라, 바람직하게는 상기 측면상의 동일한 수평축을 따라 상기 차량(1000) 외부의 영상을 촬영하는 복수의 카메라 모듈(111,112)을 포함할 수 있다.

상기 촬영부(110)는 상기 카메라 모듈(111,112)을 복수개 포함함으로써, 상기 차량(1000)으로부터 상기 피사체간의 상대거리를 판단할 수 있는데, 복수개의 상기 카메라 모듈(111,112)은 상기 촬영부(110)상에서 동일한 수평축상에 서로 다른 위치에 구비되므로, 복수개의 상기 카메라 모듈(111,112)로부터 촬영된 각각의 영상은 동일한 피사체를 동일한 영상규 격내에서 서로 다른 위치, 즉, 서로 다른 좌우의 거리 차이(시차)를 두고 나타낼 수 있다. 따라서 상기 촬영부(110)는 복수의 카메라 모듈(111,112)로부터 제공된 각각의 영상(20)에서 나타내는 동일한 피사체간의 상기 시차를 통하여 상기 촬영부(110), 다시 말해, 상기 촬영부(110)가 장착된 상기 차량(1000)과 상기 피사체간의 상대거리값를 제공할 수 있다.

상기 촬영부(110)는 가시광선 카메라 모듈(111), 적외선 카메라 모듈(112), 열화상 카메라 모듈 중 적어도 하나를 포함할 수 있으며, 상술한 바와 같이, 상기 차량(1000)의 주변 영상(20)을 촬영함과 더불어 상기 영상(20) 내의 피사체와 상기 차량(1000)간의 상대거리를 판별하기 위하여 상기 가시광선 카메라 모듈(111), 상기 적외선 카메라 모듈(112) 및 상기 열화상 카메라 모듈 중 적어도 하나를 복수개 포함하여 구성될 수 있다.

상기 촬영부(110)를 구성하는 상기 카메라 모듈에 대해서 더욱 자세히 살펴보면, 상기 촬영부(110)에 포함될 수 있는 복수개의 상기 가시광선 카메라 모듈(111)은 CMOS(Complementary Metal Oxide Semiconductor) 카메라 모듈 또는 CCD(Charage-Coupled Device) 카메라 모듈일 수 있으며, 가시광선 대역인 약 400 내지 800 nm의 영역을 촬영하므로 빛을 통해 최적화된 영상을 얻을 수 있는 주간에 사용이 용이할 수 있다.

상기 가시광선 카메라 모듈(111)은 가시광선이 미약한 야간에는 촬영할 수 있는 가시광선 대역의 에너지가 매우 적어 별도의 조명장치를 병용하여 사용하지 않을 경우 촬영이 불가능할 수 있다. 그러나, 상기 가시광선 카메라 모듈(111)을 상기 조명장치와 병용하여 사용할 경우, 상기 조명장치의 강도 및 종류에 따라 촬영될 수 있는 영상(20)의 결과가 상이해질 수 있으므로, 촬영된 영상 결과에 대한 신뢰도가 저하될 수 있다. 이에 따라 상기 촬영부(110)는 복수개의 상기 가시광선 카메라 모듈(111)과 함께 상기 적외선 카메라 모듈(112)을 복수개 포함하여, 주간에는 상기 가시광선 카메라 모듈(111)을 통해 상기 차량(1000) 주변의 영상을 촬영하고, 야간에는 상기 적외선 카메라 모듈(112)이 상기 가시광선 카메라 모듈(111)의 역할을 대신하도록 구성될 수 있다.

일반적으로 달빛이나 별빛이 존재하는 야간에는 580 nm 전후의 대역을 갖는 근적외선 에너지가 상당히 존재하여 상기 촬영부(110)는 상기 적외선 카메라 모듈(112)만으로도 상기 차량(1000) 외부의 영상을 충분히 촬영할 수 있다.

그러나 별빛은 존재하나 달빛이 없는 경우와 같이, 보다 더 어두운 야간에는 근적외선 에너지 또한 거의 존재하지 않으며, 대신 1000 내지 1200 nm 대역의 적외선 영역에서 상당한 에너지가 존재하게 된다. 따라서 상기 적외선 카메라 모듈(112)은 더욱 어두운 상황에 대비할 수 있도록 1000 내지 1200 nm 대역의 적외선을 촬영 가능한 상기 적외선 카메라 모듈(112)일 수 있다.

그러나 달빛과 별빛이 모두 존재함으로써, 보다 밝은 야간에는 상술한 바와 같이 1000 내지 1200 nm 대역의 적외선 에너지가 거의 존재하지 않으므로, 이를 보완하기 위해, 상기 촬영부(110)는 1000 내지 1200 nm 대역의 적외선을 방출하는 적외선 LED(113) 적어도 하나 포함할 수 있다. 따라서 비교적 어두운 야간, 즉, 1000 내지 1200 nm 대역의 근적외선 에너지가 상당히 존재하는 야간에는, 상기 적외선 카메라 모듈(112)만을 통하여 상기 차량(1000) 주변을 촬영할 수 있으며, 비교적 밝은 야간, 즉, 1000 내지 1200 nm 대역의 적외선 에너지가 거의 존재하지 않을 시에는, 상기 적외선 LED(113)를 통해 1000 내지 1200nm 대역 에너지의 적외선을 보완할 수 있으므로, 야간별로 상이할 수 있는 밝기에 관계없이 모든 야간에서 상기 적외선 카메라 모듈(112)을 통한 영상의 촬영이 가능하다.

이와는 반대로, 상기 적외선 카메라 모듈(112)이 850 nm 전후 대역의 근적외선을 촬영하며, 비교적 어두운 야간, 즉, 850 nm 전후 대역의 근적외선이 거의 검출되지 않을 시에는 850 nm 전후 대역의 근적외선을 조사하는 상기 적외선 LED(113)를 통해 이를 보완하도록 구성될 수 있다.

그러나 1000 내지 1200 nm의 적외선 파장은 육안으로 인지하지 못하는 형상을 감지하는 특성뿐만 아니라 850 nm 전후 대역의 근적외선에 비해 더 멀리까지 에너지 전달이 가능하므로, 상술한 바와 같은 구성, 즉 상기 적외선 카메라 모듈(112)은 1000 내지 1200 nm의 적외선을 촬영하며, 1000 내지 1200 nm의 적외선 파장을 조사하는 상기 적외선 LED(113)가 비교적 밝은 야간에 상기 적외선 카메라 모듈(112)을 보완하도록 구성되는 것이 보다 바람직하다.

상기 촬영부(110)는 적어도 하나의 에어 분출부(114)를 포함할 수 있다. 상기 에어 분출부(114)는 도 3에 도시된 바와 같이 상기 가시광선 카메라 모듈(111) 및 상기 적외선 카메라 모듈(112)의 렌즈에 압축 에어를 분사하여 세정함으로써, 상기 가시광선 카메라 모듈(111) 및 상기 적외선 카메라 모듈(112)의 렌즈가 오염에 의해 기능이 저하되는 것을 사전에 방지할 수 있다.

다음으로, 상기 이진화 영상 생성단계(S120)는, 차선 후보영역(w)이 백색으로 나타나고 상기 차선 후보영역(w) 외의 배경영역(b)이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상(30)을 생성할 수 있다. 구체적으로 상기 이진화 영상 생성단계(S120)는 상기 촬영단계(S110)에서 복수개의 상기 촬영부(110)를 통해 촬영된 영상들을 조합하여 파노라마 영상(20)을 생성하는 파노라마 영상 생성단계(S121), 상기 파노라마 영상을 스트레칭하여 상기 파노라마 영상의 콘트라스트(contrast)를 향상시키는 스트레칭단계(S122), 콘트라스트가 향상된 상기 파노라마 영상(25)을 복수의 단위 영역(l)으로 구분하고, 구분된 상기 단위 영역별로 이진화 처리하여 상기 이진화 영상(30)을 생성하는 이진화 처리단계(S123)를 포함할 수 있다.

본 발명의 일 실시예에 따른 운전 지원 방법은 상기 차량(1000)이 주행하는 도로로부터 상기 도로의 차선에 대응되는 형태인 차선영역(33)을 검출하기 위해 상기 차량(1000) 주변을 촬영하는 복수의 상기 촬영부(110)를 포함하므로, 복수개의 상기 촬영부(110)를 통해 촬영된 복수개의 영상이 상기 파노라마 영상 생성단계(S121)를 통해 조합되어 상기 파노라마 영상이 생성될 수 있다.

상기 파노라마 영상(20)으로 제공되는 상기 차량(1000) 주변의 영상(20)은 종래의 도로상 주행방향의 전방만을 촬영하여 제공되었던 차량(1000) 주변의 영상과 달리 상기 차량(1000) 주변 사방의 영상(20)을 제공하므로 상기 차선영역(33) 검출에 있어서 더욱 신뢰성 있는 결과를 제공할 수 있다.

복수개의 상기 촬영부(110) 각각은 상술한 바와 같이, 복수개의 상기 카메라 모듈(111,112)을 포함하여, 각각의 상기 카메라 모듈(111,112)로부터 촬영된 영상을 통하여 상기 영상 중 피사체와의 거리를 판단하도록 구성되므로, 상기 파노라마 영상 생성단계(S121)를 통해 형성되는 상기 파노라마 영상(20)은, 복수개의 상기 촬영부(110) 각각이 포함하는 복수개의 상기 카메라 모듈(111,112)로부터 조합된 영상(20)이 다시 조합된 영상이거나, 적어도 하나의 상기 카메라 모듈(111,112)로부터 제공된 영상(20)이 조합된 영상일 수 있다.

상기 파노라마 영상 생성단계(S121)를 통해 생성된 상기 파노라마 영상은 상기 스트레칭 단계(S122)를 통해 콘트라스트(contrast)가 향상될 수 있다.

일반적으로 영상의 콘트라스트는 영상 내 밝고 어두운 영역의 차 즉, 명암비의 크기를 의미하는 것으로 이 명암비가 클수록 콘트라스트가 높은 영상이라 볼 수 있다. 높은 콘트라스트를 갖는 영상은 영상 내 어두운 영역의 차이가 명확하여 선명도가 우수한 이미지라 할 수 있으므로, 콘트라스트가 낮은 영상을 이미지 처리하여 높은 콘트라스트를 갖는 영상으로 변환하게 되면, 해당 영상의 선명도를 향상시켜 고품질의 영상을 획득할 수 있다.

따라서 상기 스트레칭단계(S122)는 상기 파노라마 영상(20) 각 픽셀이 갖는 영상레벨의 최소 영상레벨 및 최대 영상레벨간의 범위를 확장하여 상기 파노라마 영상의 영상레벨 분포를 더욱 고르게 분산시킬 수 있으며, 이로 인해 상기 파노라마 영상의 명암비를 더욱 크게하여 상기 파노라마 영상(20)을 더욱 선명하게 할 수 있다.

상기 스트레칭 단계(S122)는 통상 업자에게 일반적인 방식인 영상의 히스토그램을 추출하여 상기 히스토그램의 최소 영상레벨 및 최대 영상레벨을 확장하는 방식인 히스토그렘 스트레칭을 통해 상기 파노라마 이미지의 콘트라스트를 향상시킬 수 있으며, 따라서, 이에 대한 과정의 자세한 설명은 생략할 수 있다.

이어서, 상기 이진화 처리단계(S123)는 콘트라스트가 향상된 상기 파노라마 영상(25)을 이진화 처리하여, 상기 차선 후보영역(w)이 백색으로 나타나고 상기 차선 후보영역(w) 외의 배경영역(b)이 흑색으로 나타나는 상기 이진화 영상(30)을 생성할 수 있다.

상기 이진화 영상(30) 내에서 형성될 수 있는 백색의 상기 차선 후보영역(w) 및 흑색의 상기 배경영역(b)은 본 발명의 중요한 목적 중 하나인 상기 차량(1000) 주변의 상기 영상으로부터 상기 차량(1000)이 주행중인 도로의 차선에 대응하는 영역인 상기 차선영역(33)을 검출하는데 중요한 정보를 제공할 수 있다.

즉, 상기 차선 후보영역(w)은 상기 차선영역(33)을 형성시킬 수 잇는 영역으로써, 본 발명에 따른 상기 이진화 영상(30) 중에서는 그 색의 범위를 백색으로 한정하여 제공될 수 있으며, 상기 차선 후보영역(w) 외의 상기 배경영역(b)은 흑색으로 한정하여 제공됨으로써, 상기 이진화 영상으로부터 상기 차선영역(33)을 검출할 수 있는 후보군을 제공하게 된다.

일반적인 이진화 처리 과정은, 처리하게 될 영상의 밝기값 범위 중 하나의 밝기값을 기준 밝기값으로 선택하여 상기 기준 밝기값을 기준으로 상기 기준 밝기값보다 큰 밝기값을 백색으로 나타내며, 작은 밝기값을 흑색으로 나타내는 것이 일반적이다.

따라서 상기 이진화 처리단계(S123)는 콘트라스트가 향상된 상기 이진화 영상(25)이 포함하는 모든 밝기값 범위 중 하나의 기준 밝기값을 선택하여 상기 기준 밝기값을 기준으로 더 큰 밝기값을 갖는 영역을 백색으로 더 작은 밝기값을 갖는 영역을 흑색으로 설정할 수 있다. 여기서, 상기 기준 밝기값은 상기 영상(20) 중 나타날 수 있는 상기 도로상 차선의 밝기값보다 어두운 밝기값을 갖는 것이 바람직하며, 이를 위해 상기 기준 밝기값은 상기 촬영부(110)를 통해 촬영된 영상에서 나타날 수 있는 상기 도로상 차선의 밝기값을 사전에 미리 측정하여 측정된 밝기값 범위 내에서 선택되는 것이 바람직하다.

상기 이진화 처리단계(S123)가 상기 기준 밝기값을 결정하는 방식으로는, 상기한 바와 같이 미리 측정된 도로상 차선의 밝기값을 토대로 하나의 기준 밝기값이 결정되거나, 콘트라스트가 향상된 상기 영상(25) 중 형성된 경계면의 밝기 평균값들을 이용하여 결정되거나, 콘트라스트가 향상된 상기 영상(25)의 히스토그램의 산과 계곡의 분포를 이용하여 결정되는 방법 등이 사용될 수 있으며, 콘트라스트가 향상된 상기 영상(25)을 상기 차선 후보영역(w) 및 상기 배경영역(b)으로 구분하여 나타낼 수 있는 기준 밝기값을 결정할 수 있는 방식이라면 어떠한 방식이라도 상관없다.

복수개의 상기 촬영부(110)를 통해 촬영된 복수개의 상기 영상을 조합하여 생성된 상기 파노라마 영상(20)은, 도로상 주행하는 차량(1000)으로부터 발생되는 조명, 가로등 또는 햇빛이나 달빛과 같이 다양한 조명에 의해 부분적인 조명영역이 생성될 수 있는데, 상기 조명영역으로 인하여 정확한 상기 이진화 영상(30), 즉, 명확한 경계 구분이 형성된 상기 이진화 영상(30)의 생성에 문제가 발생될 수 있다.

따라서 상기 이진화 처리단계(S123)는 콘트라스트가 향상된 상기 파노라마 영상(25)을 복수의 단위 영역(l)으로 구분하고, 구분된 상기 단위 영역(l)별로 이진화 처리하여 상기 이진화 영상(30)을 생성할 수 있다. 이를 통해, 콘트라스트가 향상된 상기 파노라마 영상(25)이 이진화 처리될 시, 각각의 단위 영역(l)별 조명영역을 제거하기가 상대적으로 수월하므로 전체적인 영상을 일괄적으로 이진화 처리하는 것에 대비하여 결과물의 화질이 개선될 수 있으며, 백색을 갖는 상기 차선 후보영역(w) 및 흑색을 갖는 상기 배경영역(b)이 명확하게 구분된 상기 이진화 영상(30)을 얻을 수 있다.

다음으로, 상기 이진화 영상 필터링단계(S130)는 상기 이진화 영상(30)에서 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하여 상기 이진화 영상 중 상기 차량(1000) 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역(31)을 결정할 수 있다.

구체적으로 상기 이진화 영상 필터링단계(S130))는, 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하는 배경영역 필터링단계(S131), 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하는 차선 후보영역 필터링단계(S132) 및 상기 차선 후보영역(w)을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율 이하인 상기 가상의 직사각형에 포함되는 상기 차선 후보영역(w)을 삭제하여 상기 차선 구성영역(31)을 결정하는 차선 구성영역 결정단계(S133)를 포함할 수 있다.

상기 배경영역 필터링단계(S131)는 상기 이진화 영상(30) 중 상기 차선 후보영역(w) 내부에 존재하는 복수개의 상기 배경영역(b) 중 미리 결정된 면적 이하, 구체적으로, 상기 차선 구성영역(31)보다 작은 면적을 갖는 상기 배경영역(b)을 백색화하는 역할을 수행함으로써 상기 차선 구성영역(31)의 형상을 명확하게 할 수 있다.

상기 차선 구성영역(31)의 면적은 미리 측정된 값, 즉, 본 발명에 따른 운전 지원 방법이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)의 면적값으로부터 도출될 수 있으며, 상기 배경영역 필터링단계(S131)는 상기 차선 구성영역(31) 내부에 존재하는 상기 배경영역(b)의 보다 확실한 백색화를 위해 복수개의 상기 차선 구성영역(31)의 면적 중 최소값 미만의 면적을 갖는 상기 배경영역(b)을 백색화함으로써, 복수개의 상기 차선 구성영역(31)의 형상을 전체적으로 명확하게 할 수 있다.

이어서, 상기 차선 후보영역 필터링단계(S132)는 상기 이진화 영상 중 존재하는 복수개의 상기 차선 후보영역(w) 중 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제할 수 있다.

상기 차선 후보영역 필터링단계(S132)는 상기 배경영역 필터링단계(S131)에서와 마찬가지로 본 발명에 따른 운전 지원 방법이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)의 면적보다 작은 상기 차선 후보영역(w)을 삭제할 수 있는데, 이를 통해 상기 이진화 영상(30) 중, 상기 차선 구성영역(31)의 면적보다 작은 상기 차선 후보영역(w)이 삭제됨으로써, 상기 이진화 영상(30) 중 상기 차선 구성영역(31)의 결정을 수월하게 할 수 있다.

본 발명에 따르면, 상기 차선 구성영역(31)의 형상은 상기 차량(1000)이 주행하는 도로상의 상기 차선의 형상과 동일한 것으로서, 선 형태를 갖고 있는 것이 바람직하다.

따라서 상기 차선 구성영역 결정단계(S133)는, 상기 이진화 영상(30) 중 복수개의 상기 차선 후보영역(w) 각각을 둘러싸는 복수개의 가상의 직사각형 중에서, 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역(w)을 삭제하여 상기 차선 구성영역(31)을 결정할 수 있다.

복수개의 상기 차선 후보영역(w) 각각을 둘러싸는 복수개의 상기 가상의 직사각형은 긴 변의 길이 대비 짧은 변의 길이 비율이 감소할수록 단축 대비 장축이 긴 선 모양의 상기 차선 구성영역(31)이 내부에 위치할 수 있다. 반대로, 긴 변의 길이 대비 짧은 변의 길이 비율이 증가할수록 상기 가상의 직사각형 내부에 위치할 수 있는 상기 차선 구성영역(31)은 상기 가상의 직사각형 내부에서 선 모양형태가 아닌 사각형이나 원형과 같은 도형 형태로 존재하게 된다.

따라서 상기 차선 구성영역 결정단계(S133)는 복수개의 상기 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 수치를 초과하는 상기 가상의 직사각형의 내부에 위치하는 상기 차선 구성영역(31)을 삭제하여, 상기 이진화 영상(30) 중 복수개의 상기 차선 구성영역(31)이 될 수 있는 상기 차선 후보영역(w)을 제외한 나머지 상기 차선 후보영역(w)을 삭제할 수 있다.

상기 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율의 미리 결정된 수치는 본 발명에 따른 운전 지원 방법이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)을 둘러쌓는 가상의 직사각형의 긴 변의 길이 및 짧은 변의 길이 비율로부터 도출될 수 있으며, 바람직하게는, 미리측정된 복수개의 상기 가상의 직사각형의 긴 변의 길이 및 짧은 변의 길이 비율 중 최대값으로부터 도출될 수 있다.

상술한 바와 같이 상기 이진화 영상 필터링단계(S130)는 상기 이진화 영상(30)으로부터 상기 차선 구성영역(31)을 결정하기 위하여 3단계의 영상 처리단계, 즉, 복수개의 상기 차선 후보영역(w)의 내부 중 형성된 미리 결정된 면적 이하의 상기 배경영역(b), 즉, 상기 차선 구성영역(31)의 면적 미만의 상기 배경영역(b)을 백색화하고, 복수개의 상기 차선 후보영역(w) 중 상기 차선 구성영역(31)의 면적 미만의 상기 차선 후보영역(w)을 삭제하며, 선 형태 이외의 상기 차선 후보영역(w)을 삭제하는 방식으로 상기 차선 구성영역(31)을 결정할 수 있다.

따라서 본 발명의 일 실시예에 따른 운전 지원 방법에서 상기 차선을 검출하는 방식은, 종래의 방식인 이진화 영상 중 추출될 수 있는 좌표(32)를 통하여 직선의 방정식을 도출하여 상기 차선을 검출하는 방식보다 더욱 정확한 차선의 검출이 가능할 수 있다.

이어서, 상기 차선영역 도출단계(S140)는 서로 인접한 상기 차선 구성영역(31)을 곡률이 최소화되게 연결하여 복수개의 상기 차선영역(33)을 도출할 수 있다.

구체적으로 상기 차선영역 도출단계(S140)는, 복수개의 상기 차선 구성영역(31)상에 복수개의 좌표(32)를 설정하는 좌표 설정단계(S141), 서로 인접한 상기 좌표(32)를 연결하여 복수개의 상기 가상선(i)을 형성하는 가상선 형성단계(S142), 복수개의 상기 가상선(i) 각각의 곡률을 산출하는 곡률 산출단계(S143) 및 복수개의 상기 가상선(i) 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선(i)을 상기 차선영역(33)으로 결정하는 차선영역 결정단계(S144)를 포함할 수 있다.

상기 좌표 설정단계(S141)는 상기 이진화 영상 중 결정된 복수개의 상기 차선 구성영역(31)상에 복수개의 상기 좌표(32)를 설정할 수 있다. 상기 좌표(32)는 복수개의 상기 차선 구성영역(31) 각각의 최상단, 중간 및 최하단을 포함한 영역상에서 복수개가 설정될 수 있으며, 복수개의 상기 좌표(32)의 연결을 통하여 직선 또는 곡선이 형성될 수 있으면 각각의 상기 차선 구성영역(31)에 설정될 수 있는 상기 좌표(32)의 개수는 특별히 제한되지 않는다.

이어서, 상기 가상선 형성단계(S142)는 서로 인접한 상기 좌표(32)를 연결하여 복수개의 상기 가상선(i)을 형성할 수 있다.

복수개의 상기 가상선(i) 중 상기 차량(1000)이 상기 도로상에서 주행하는 경로인 차선에 해당하는 상기 차선영역(33)이 되기 위해서는, 상기 도로상의 차선과 대응되는 형상, 즉, 복수개가 최소 곡률로 나란히 형성되어야 한다. 따라서, 상기 곡률 산출단계(S143)는 복수개의 상기 가상선(i)의 곡률을 산출할 수 있으며, 이에 따라, 복수개의 상기 가상선(i) 중 복수개의 상기 차선영역(33)에 해당하는 상기 가상선(i)을 결정할 수 있는 근거를 제공할 수 있다.

이어서, 상기 차선영역 결정단계(S144)는 복수개의 상기 가상선(i) 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선(i)을 상기 차선영역(33)으로 결정할 수 있다.

상술한 바와 같이 상기 차선영역 도출단계(S140)는 복수개의 상기 차선 구성영역(31)상에 복수개의 상기 좌표(32)를 설정하여 복수개의 상기 좌표(32)가 곡률이 최소화 되는 방향으로 연결되어 동일한 곡률로 나란히 형성되는 복수개의 상기 차선영역(33)을 형성할 수 있다.

상기 차선영역 도출단계(S140)에 있어서, 복수개의 상기 차선영역(33)은 복수개의 상기 차선 구성영역(31)이 단순한 직선의 방정식을 통하여 연결되는 것이 아니라, 각각의 최상단, 중간 및 최하단을 포함한 복수의 영역에 설정된 복수의 상기 좌표(32)가 곡률이 최소화되는 방향으로 연결되어 형성될 수 있으므로, 단순히 서로 인접한 거리를 근거하여 연결됨으로써 부정확한 상기 차선영역(33)이 형성되는 것을 방지하여 더욱 신뢰성있는 상기 차선영역(33)을 제공할 수 있는 효과가 있다.

상기 차선영역 도출단계(S140)를 통해 도출된 복수개의 상기 차선영역(33)은 상기 도로상의 상기 차량(1000)의 주행경로인 상기 차선에 대응된 형상으로써, 상기 차량(1000)의 주행 중 상기 차량(1000)의 주행경로 이탈여부를 판단하는 기준이 될 수 있다.

상기 차선영역 이탈 분석단계(S150)는 상기 차량(1000) 및 복수개의 상기 차선영역(33)간의 상대거리를 판단하여, 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선영역(33) 중 어느 하나와 접촉하는지 분석할 수 있다.

구체적으로, 상기 차선영역 이탈 분석단계(S150)는 상기 차량(1000) 및 복수개의 상기 차선영역(33)간의 상대거리를 판단하여, 상기 차량(1000)이 복수개의 상기 차선영역(33) 중 상기 차량(1000)과 인접한 한 쌍의 상기 차선 중 어느 하나와 접촉하는지, 즉, 상기 차량(1000)이 한 쌍의 상기 차선영역(33)으로 나타날 수 있는 상기 차량(1000)의 주행경로 내에서 정상적으로 주행하는지 분석할 수 있다.

상기 차량(1000) 및 복수개의 상기 차선영역(33)간의 상대거리는 상술한 바와 같이 복수개의 상기 카메라 모듈을 통해 피사체와의 상대 거리를 판단할 수 있는 스테레오 형식의 상기 촬영부(110)를 통하여 상기 차량(1000)으로부터 상기 차선영역(33)이 될 수 있는 상기 차선 후보영역(w)까지의 상대 거리값이 제공될 수 있으므로, 이에 대한 자세한 설명을 생략할 수 있다.

상기 차선영역 이탈 분석단계(S150)를 통해 상기 차량(1000)이 인접한 한 쌍의 상기 차선 구성영역(31) 중 어느 하나와 접촉한 것으로 분석될 시, 상기 차량(1000)은 주행하는 도로상에서 정상적인 주행경로를 벗어난 것으로 판단될 수 있으며, 이 경우, 상기 차량(1000)은 다른 차량, 장애물 및 보행자등과 충돌할 가능성이 높아질 수 있다. 따라서 본 발명에 따른 운전 지원 방법은 상기 차량(1000)이 상기 주행경로를 이탈할 시를 대비하여 이에 대응할 수 있는 대책을 마련해야 할 필요성이 있다. 이에 따라, 상기 운전 지원 방법은 상기 차선영역 이탈 분석단계(S150)의 분석 결과에 따라 상기 차량(1000)의 운전을 지원하는 운전 지원단계(S160)를 더 포함할 수 있다.

상기 운전 지원단계(S160)는, 상기 차선영역 이탈 분석단계(S150)가 상기 차량(1000)이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 차량(1000)이 상기 차선과 접촉하지 않도록 상기 차량(1000)의 주행 방향 변경을 지원할 수 있다. 구체적으로 상기 운전 지원단계(S160)는 상기 차량(1000)의 주행방향을 제어하는 주행 조향 지원단계(S162)를 포함할 수 있으며, 상기 주행 조향 지원단계(S162)는 상기 차선영역 이탈 분석단계(S150)에서 상기 차량(1000)이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 차량(1000)의 조향 제어부(1100)의 구동을 지원하는 주행 조향 지원부(162)를 통하여 상기 차량(1000)의 주행방향이 정상적인 경로로 변경되도록 상기 차량(1000)의 조향을 제어할 수 있다.

상기 주행 조향 지원부(162)는 상기 차량(1000)의 주행 방향을 결정하는 조향 컨트롤러(1110)를 제어함으로써 상기 조향 컨트롤러(1110)의 결정에 따라 회전하여 상기 차량(1000)의 주행 방향을 변경하는 스티어링 휠 샤프트(1160)의 회전을 제어하여 상기 차량(1000)의 주행 방향을 제어할 수 있다.

구체적으로 상기 운전 지원단계(S160)에서 상기 주행 조향 지원부(162)는 상기 조향 컨트롤러(1110)를 제어하여 상기 스티어링 휠 샤프트(1160)에 회전 구동력을 전달하는 모터(1120)의 구동을 제어하며, 상기 모터(1120)의 회전축에 구비된 제1 모터(1120)는 상기 제1 모터(1120)와 밸트기어를 통해 연결되며 상기 스티어링 휠 샤프트(1160)에서 상기 스티어링 휠 샤프트(1160)와 동일한 회전축을 공유하는 제2 모터(1120)를 회전시킬 수 있으며, 결과적으로 상기 스티어링 휠 샤프트(1160)는 회전하여 상기 차량(1000)의 주행 방향을 변경할 수 있다.

따라서, 상기 운전 지원단계(S160)는 상기 차선영역 이탈 분석단계(S150)가 상기 차량(1000)이 인접한 상기 차선과 접촉하는 것으로 분석하는 경우, 접촉한 상기 차선의 반대 방향으로 상기 스티어링 휠 샤프트(1160)가 회전되도록 상기 모터(1120)의 회전 구동방향을 결정할 수 있으며, 이로 인해, 상기 차량(1000)은 상기 차량(1000)과 접촉한 상기 차선과 다시 멀어지는 방향으로 주행하도록 주행 방향이 변경될 수 있다.

상기 차선과 접촉한 후 상기 운전 지원단계(S160)의 지원을 통해 정상적인 상기 주행경로에 진입한 상기 차량(1000)은, 다시 상기 운전 지원단계(S160)의 제어, 즉, 상기 운전 지원단계(S160)의 제어에 따른 상기 모터(1120)의 회전 구동에 따라 상기 주행경로 내에서 정상적인 주행을 유지할 수 있다.

상기 조향 제어부(1100)는 상기 조향 컨트롤러(1110)와 연결되어 상기 조향 컨트롤러(1110)가 상기 조향 지원단계(S162)를 통해 제어되는 것을 차단하여 상기 차량(1000)이 철저히 운전자의 수동 조작에 의해 주행하도록 할 수 있는 자동 조향 해제 스위치(1190)를 더 포함할 수 있는데, 상기 차량(1000)의 운전자는 상기 주행 조향 지원단계(S162)의 지원을 선택적으로 상기 차량(1000)에 적용시킬 수 있으므로, 더욱 유연한 상기 차량(1000)의 운영을 가능하게 할 수 있으며, 상기 주행 조향 지원단계(S162)의 제어에 따라 상기 차량(1000)에 오류가 발생될 시, 상기 차량(1000)을 신속하게 수동 주행모드로 전환할 수 있으므로, 운전자는 상기 차량(1000)을 더욱 안전하게 운영할 수 있다.

상기 운전 지원단계(S160)는 상기 차선영역 이탈 분석단계(S150)에서 상기 차량(1000)이 상기 차량(1000)과 인접한 상기 차선과 접촉한 것으로 분석하는 경우, 상기 차량(1000)의 운전자에게 차선 이탈 경보를 제공하는 차선 이탈 경보단계(S161)를 포함함으로써, 상기 차량(1000)의 주행경로 이탈에 대한 상기 운전자의 즉각적인 대처능력을 향상시킬 수 도 있다.

상술한 바와 같이 상기 운전 지원단계(S160)는 주행중인 상기 차량(1000)이 상기 차량(1000)의 주행경로를 벗어난 경우 상기 차량(1000)을 상기 주행경로 내로 재진입시켜 상기 차량(1000)의 안전한 주행을 지원할 수 있다.

그러나 상기 운전 지원단계(S160)는 상기 차량(1000)의 주행 중 문제 발생에 대처하는 기능을 지원할 뿐만 아니라, 상기 차량(1000)이 정상적인 주행을 영위하고 있는 중에도 상기 차량(1000)의 주행을 지원할 수 있다. 구체적으로, 상기 운전 지원단계(S160)는 상기 차량(1000)의 정속주행 또는 가속주행을 지원하는 순항 지원단계(S163)를 포함하여, 상기 차선영역 이탈 분석단계(S150)에서 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선과 접촉하지 않아 정상적인 주행을 하고 있는 것으로 분석되는 경우, 상기 순한 지원단계(S163)는 순항 지원부(163)를 통하여 상기 차량(1000)의 정속주행 또는 가속주행을 지원할 수 있다.

상기 차량(1000)의 가속페달(p)은 상기 차량(1000)의 가솔린과 공기의 양을 조절하여 상기 차량(1000) 기관의 회전을 빠르게 하여, 상기 차량(1000)을 가속 전진 가능하게 하는 구성으로써, 평상시에는 상기 차량(1000)의 운전자에 의해 눌려져서 기능하게 된다.

그러나 본 발명에 따른 운전 지원 방법에서는, 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선영역(33)과 접촉하지 않아 상기 차량(1000)이 정상적인 주행경로 내에서 주행하고 있는 것으로 분석될 경우, 상기 순항 지원단계(S163)는 상기 순항 지원부(163)을 통하여 상기 가속페달(p)이 자동적으로 눌려지도록 지원하여 상기 차량(1000)의 정속주행 또는 가속주행이 가능하게 할 수 있다.

구체적으로 상기 차선영역 이탈 분석단계(S150)가 상기 차량(1000)이 상기 차량(1000)과 인접한 한 쌍의 상기 차선영역(33)과 접촉하지 않는 것으로 분석하는 경우, 상기 순항 지원단계(S163)는 상기 순항 지원부(163)를 통하여 솔레노이드(1210)의 전원을 인가시켜 상기 솔레노이드(1210)가 에어 펌프(1220)로부터 압축공기를 실린더(1230)에 전달하도록 할 수 있다. 이어서, 상기 압축공기를 공급받은 상기 실린더(1230)는 상기 실린더(1230)의 내부에 위치하여 상하로 구동하는 피스톤 로드(1240)를 상기 실린더(1230) 외부로 돌출시켜 상기 가속페달(p)을 누름으로써, 상기 차량(1000)의 정속주행 또는 가속주행을 가능하게 한다.

여기서, 상기 운전 지원단계(S160)에의 지원에 따른 상기 차량(1000)의 정속주행 또는 가속주행은 상기 피스톤 로드(1240)의 돌출되는 정도에 의한 상기 가속 페달(p)이 눌려지는 정도에 따라 결정될 수 있다.

상기 순항 제어부(1200)는 상기 조향 제어부(1100)와 마찬가지로 상기 솔레노이드(1210)와 연결되어 상기 운전 지원단계(S160)에서의 지원에 따른 상기 가속페달(p)의 제어를 차단하여 상기 차량(1000)을 수동모드로 전환시킬 수 있는 비상 해제 스위치(1290)를 포함할 수 있다.

이상에서는, 상기 차량(1000)에 장착된 복수개의 상기 촬영부(110)를 통하여 상기 차량(1000) 주변 사방의 영상(20)을 촬영하고, 상기 영상(20)을 토대로 상기 차선영역(33)을 검출하여, 상기 차선영역(33)에 대응하여 상기 차량(1000)의 운전을 지원하는 운전 지원 시스템 및 방법에 대해서 살펴보았다.

상기 운전 지원 시스템 및 방법에 따르면, 상기 운전 지원 시스템 및 방법은 상기 차량(1000) 주변 사방의 영상(20)을 모두 촬영할 수 있는 상기 촬영부(110)를 포함함으로써 상기 차량(1000)이 주행하는 도로상의 차선에 대응하는 상기 차선영역(33)을 정확하게 검출할 수 있으므로 상기 운전 지원 시스템 및 방법에 대한 사용자의 신뢰성과, 상기 차량(1000) 주행의 정확성 및 안정성을 더욱 향상시킬 수 있다.

그러나, 상기 운전 지원 시스템 및 방법은 상기 촬영부(110)가 상기 차량(1000) 주변 사방의 영상을 모두 촬영하지 않고도 상기 차선영역(33)을 정확하게 검출할 수 있는데, 이를 위해서는, 상기 차량(1000)이 주행하는 도로의 곡률, 즉 휘어진 정도에 따라 상기 촬영부(110)를 회전시켜 상기 차량(1000)이 주행하고자 하는 도로의 영상을 촬영하여 상기 영상을 토대로 상기 차선 영역을 검출해야만 한다.

이하에서는 상기 차량(1000)이 주행하는 도로의 곡률에 따라 상기 촬영부가 회전하여 상기 촬영부의 화각 범위 내에서 상기 차선영역(33)을 충분히 위치시킬 수 있는, 본 발명의 또 다른 실시예에 따른 운전 지원 시스템 및 방법에 대해 살펴볼 수 있다.

이하에서는, 상술한 앞선 발명의 설명에서 참조하였던 도 5 내지 도 10, 그리고 도 12 내지 도 14를 참조하여 본 발명의 또 다른 실시예에 따른 운전 지원 시스템 및 방법에 대해 살펴볼 수 있다. 상기 도면들이 이하의 설명에서 참조될 시, 앞서 설명된 발명과 동일한 도면부호를 갖는 구성들은 본 명세서 전반에 걸쳐 동일한 기능 및 특징을 갖는 구성이므로 해당 도면부호를 갖는 도면들은 이하에서도 중복되어 참고될 수 있다.

도 16은 본 발명의 또 다른 실시예에 따른 운전 지원 시스템의 구성도이다.

상기 운전 지원 시스템은 주행 중 또는 주정차 중인 자기 차량(1000)의 주변을 촬영하고, 촬영된 영상에 따라 상기 자기 차량(1000)의 운전을 지원하는 운전 지원 시스템으로서, 상기 자기 차량(1000)에 장착되어 상기 자기 차량(1000) 주변의 영상을 촬영하는 적어도 하나의 촬영부(210), 상기 영상 중 복수개의 차선영역(33)을 검출하는 차선영역 검출부(220) 및 상기 곡률에 따라 복수개의 상기 차선영역(33)이 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하는지 분석하는 차선영역 이탈 분석부(230)를 포함할 수 있으며, 상기 차선영역 이탈 분석부(230)가 복수개의 상기 차선영역(33)이 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 위치하지 않는 것으로 분석하는 경우, 상기 촬영부(210)는 상기 곡률 정도에 따라 회전할 수 있다.

상기 촬영부(210)는 주행중 또는 주정차중인 상기 자기 차량(1000)으로부터 상기 자기 차량(1000) 주변의 영상(20)을 촬영하는 기능을 하는 구성으로서, 상기 자기 차량(1000)의 일부 영역에 장착되어 상기 영상(20)을 촬영할 수 있다면 상기 촬영부(210)가 상기 자기 차량(1000)상에 장착되는 위치는 특별히 제한되지 않으나, 상기 자기 차량(1000)은 일반적으로 고속의 전방주행을 주된 기능으로 하므로, 상기 자기 차량(1000)의 전방 영역을 포함한 적어도 하나의 위치에 장착되어 상기 자기 차량(1000)의 전방 영역을 포함한 적어도 하나의 영역으로부터 상기 자기 차량(1000) 주변의 영상(20)을 촬영하도록 구성되는 것이 바람직하다.

도 17은 본 발명의 또 다른 실시예에 따른 촬영부(210)의 사시도이다.

상기 촬영부(210)는 상기 자기 차량(1000)에 장착되어 상기 자기 차량(1000) 주변의 영상을 촬영하는 것을 주된 기능으로 하지만, 상기 자기 차량(1000) 주변의 영상으로부터 검출될 수 있는 피사체와 상기 자기 차량(1000)과의 거리를 판단하는 기능 또한 상기 촬영부(210)의 중요한 기능 중 하나일 수 있다. 여기서, 상기 피사체는 상기 자기 차량(1000)이 주행하는 도로상의 차선, 장애물, 보행자 및 상기 자기 차량(1000) 외의 다른 차량(1000)과 같이 상기 영상(20) 중에 나타날 수 있는 모든 객체일 수 있다.

즉 상기 촬영부(210)는 상기 자기 차량(1000) 주변의 영상을 촬영함과 동시에 상기 영상(20)에 나타나는 피사체와 상기 자기 차량(1000)간의 상대거리값을 제공하여 상기 자기 차량(1000)이 상기 피사체에 대응한 주행을 가능하게 할 수 있다. 상기 피사체에 대응한 상기 자기 차량(1000)의 주행에 관한 설명은 후술하기로 한다.

상기 촬영부(210)는 상기 촬영부(210)의 측면상의 동일한 수평축을 따라 상기 자기 차량(1000) 외부의 영상(20)을 촬영하는 복수개의 카메라 모듈(221,222,223)을 포함할 수 있다.

상기 촬영부(210)는 상기 카메라 모듈(221,222,223)을 복수개 포함함으로써, 상기 자기 차량(1000)으로부터 상기 피사체간의 상대거리를 판단할 수 있는데, 복수개의 상기 카메라 모듈(221,222,223)은 상기 촬영부(210)상에서 동일한 수평축상에 서로 다른 위치에 구비되므로, 복수개의 상기 카메라 모듈(221,222,223)로부터 촬영된 각각의 영상은 동일한 피사체를 동일한 영상규격내에서 서로 다른 위치, 즉, 서로 다른 좌우의 거리 차이(시차)를 두고 나타낼 수 있다.

따라서 상기 촬영부(210)는 복수개의 상기 카메라 모듈(221,222,223)로부터 제공된 각각의 영상에서 나타내는 동일한 피사체간의 상기 시차를 통하여 상기 촬영부(210), 다시 말해, 상기 촬영부(210)가 장착된 상기 차량(1000)과 상기 피사체간의 상대거리값을 제공할 수 있다.

상기 촬영부(210)는 가시광선 카메라 모듈(221), 적외선 카메라 모듈(222), 열화상 카메라 모듈(223) 중 적어도 하나를 포함할 수 있으며, 상술한 바와 같이, 상기 자기 차량(1000)의 주변 영상을 촬영함과 더불어 상기 영상(20) 내의 피사체와 상기 자기 차량(1000)간의 상대거리를 판별하기 위하여 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223) 중 적어도 하나를 복수개 포함하여 구성될 수 있다.

상기 촬영부(210)를 구성하는 상기 카메라 모듈에 대해 더욱 자세히 살펴보면, 상기 촬영부(210)에 포함될 수 있는 복수개의 상기 가시광선 카메라 모듈(221)은 CMOS(Complementary Metal Oxide Semiconductor) 카메라 모듈 또는 CCD(Charage-Coupled Device) 카메라 모듈일 수 있으며, 가시광선 대역인 약 400 내지 800 nm의 영역을 촬영하므로 빛을 통해 최적화된 영상을 얻을 수 있는 주간에 사용이 용이할 수 있다.

상기 가시광선 카메라 모듈(221)은 가시광선이 미약한 야간에는 촬영할 수 있는 가시광선 대역의 에너지가 매우 적어 별도의 조명장치를 병용하여 사용하지 않을 경우 촬영이 불가능할 수 있다. 그러나, 상기 가시광선 카메라 모듈(221)을 상기 조명장치와 병용하여 사용할 경우, 상기 조명장치의 강도 및 종류에 따라 촬영될 수 있는 영상의 결과가 상이해질 수 있으므로, 촬영된 영상 결과에 대한 신뢰도가 저하될 수 있다.

따라서 상기 촬영부(210)는 복수개의 상기 가시광선 카메라 모듈(221)과 함께 상기 적외선 카메라 모듈(222)을 복수개 포함하여, 주간에는 상기 가시광선 카메라 모듈(221)을 통해 상기 자기 차량(1000) 주변의 영상을 촬영하고, 야간에는 상기 적외선 카메라 모듈(222)이 상기 가시광선 카메라 모듈(221)의 역할을 대신하도록 구성될 수 있다.

일반적으로 달빛이나 별빛이 존재하는 야간에는 580 nm 전후의 대역을 갖는 근적외선 에너지가 상당히 존재하여 상기 촬영부(210)는 상기 적외선 카메라 모듈(222)만으로도 상기 차량(1000) 외부의 영상을 충분히 촬영할 수 있다.

그러나 별빛은 존재하나 달빛이 없는 경우와 같이, 보다 더 어두운 야간에는 근적외선 에너지 또한 거의 존재하지 않으며, 대신 1000 내지 1200 nm 대역의 적외선 영역에서 상당한 에너지가 존재하게 된다. 따라서 상기 적외선 카메라 모듈(222)은 더욱 어두운 상황에 대비할 수 있도록 1000 내지 1200 nm 대역의 적외선을 촬영 가능한 상기 적외선 카메라 모듈(222)일 수 있다.

그러나 달빛과 별빛이 모두 존재함으로써, 보다 밝은 야간에는 상술한 바와 같이 1000 내지 1200 nm 대역의 적외선 에너지가 거의 존재하지 않으므로, 이를 보완하기 위해, 상기 촬영부(210)는 1000 내지 1200 nm 대역의 적외선을 방출하는 적외선 LED(224) 적어도 하나 포함할 수 있다. 따라서 비교적 어두운 야간, 즉 1000 내지 1200 nm 대역의 근적외선 에너지가 상당히 존재하는 야간에는, 상기 적외선 카메라 모듈(222)만을 통하여 상기 차량(1000) 주변을 촬영할 수 있으며, 비교적 밝은 야간, 즉, 1000 내지 1200 nm 대역의 적외선 에너지가 거의 존재하지 않을 시에는, 상기 적외선 LED(224)를 통해 1000 내지 1200nm 대역 에너지의 적외선을 보완할 수 있으므로, 야간별로 상이할 수 있는 밝기에 관계없이 모든 야간에서 상기 적외선 카메라 모듈(222)을 통한 영상의 촬영이 가능하다.

이와 반대로, 상기 적외선 카메라 모듈(222)이 850 nm 전후 대역의 근적외선을 촬영하며, 비교적 어두운 야간, 즉, 850 nm 전후 대역의 근적외선이 거의 검출되지 않을 시에는 850 nm 전후 대역의 근적외선을 조사하는 상기 적외선 LED(224)를 통해 이를 보완하도록 구성될 수 있다.

그러나 1000 내지 1200 nm의 적외선 파장은 육안으로 인지하지 못하는 형상을 감지하는 특성뿐만 아니라 850 nm 정도의 근적외선에 비해 더 멀리까지 에너지 전달이 가능하므로, 상술한 바와 같은 구성, 즉 상기 적외선 카메라 모듈(222)은 1000 내지 1200 nm의 적외선을 촬영하며, 1000 내지 1200 nm의 적외선 파장을 조사하는 상기 적외선 LED(224)가 비교적 밝은 야간에 상기 적외선 카메라 모듈(222)을 보완하도록 구성되는 것이 보다 바람직하다.

또한 상기 촬영부(210)는 적어도 하나의 열화상 카메라 모듈(223)를 포함할 수 있다. 상기 열화상 카메라 모듈(223)은 상기 피사체의 열복사를 전자적으로 측정함으로써 상기 피사체를 감지하는 구성으로, 상기 열화상 카메라 모듈(223)을 통해 인식된 상기 자기 차량(1000) 외부의 영상은 상기 피사체의 측정된 온도에 따라 색을 달리하므로, 상기 도로상에 보행자나 동물과 같이 체온을 갖는 상기 피사체의 인식에 유용하게 사용될 수 있다.

상술한 바와 같이 상기 촬영부(210)는 상기 가시광선 카메라 모듈(221) 및 상기 적외선 카메라 모듈(222)을 통하여 상기 자기 차량(1000)의 주행경로상 상기 피사체를 주간 및 야간에 용이하게 인식할 수 있으며, 상기 열화상 카메라 모듈(223)를 통하여 보행자나 동물과 같은 체온을 갖는 상기 피사체의 인식을 더욱 정확하게 할 수 있다.

상기 촬영부(210)는 적어도 하나의 에어 분출부(225)를 포함할 수 있다. 상기 촬영부는 도 17에 도시된 바와 같이 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)의 렌즈 압축 에어를 분사하여, 상기 차량(1000) 외부에 위치하여 비나 눈과 같은 다양한 외부 상황에 영향을 받아 오염될 수 있는 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)의 렌즈를 세정함으로써, 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)이 오염에 의해 기능이 저하되는 것을 사전에 방지할 수 있다.

또한 상기 촬영부(210)는 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)의 렌즈에 워셔액을 분사하는 워셔액 분사기(226) 및 상기 워셔액이 분사된 상기 가시광선 카메라, 상기 적외선 카메라 및 상기 열화상 카메라의 렌즈를 닦아내는 와이퍼(227)를 더 포함함으로써, 상기 촬영부(210)의 외부 인식 능력이 저하되지 않게 유지할 수 있다.

상기 촬영부(210)를 통해 촬영된 상기 영상을 통해 상기 차선영역 검출부(220)는 복수개의 상기 차선영역(33)을 검출할 수 있다.

도 18은 본 발명의 일 실시예에 따라 촬영부(210)로부터 촬영된 영상으로부터 차선영역(33)이 검출되는 것을 도시한다.

이하에서는 도 18과 함께 도 5 내지 도 10을 참조하여 상기 차선영역 검출부(220)를 설명할 수 있다. 도 5 내지 도 10은 앞선 발명의 실시예의 설명에서 참조된 적이 있으나, 앞선 발명과 이하에서 설명될 발명은 상기 촬영부(210)의 차이를 제외하고는 그 영상의 변화가 동일하므로 도 5 내지 도 10 및 도 16을 참조하여 이하의 발명을 설명할 수 있다.

구체적으로 상기 차선영역 검출부(220)는 차선 후보영역(w)이 백색으로 나타나고 상기 차선 후보영역(w) 외의 배경영역(b)이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상(30)을 생성하는 이진화 영상 생성부(221), 상기 이진화 영상에서 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하여 상기 이진화 영상(30) 중 상기 자기 차량(1000) 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역(31)을 결정하는 이진화 영상 필터링부(222) 및 서로 인접한 상기 차선 구성영역(31)을 곡률이 최소화되게 연결하여 복수개의 차선영역(33)을 도출하는 차선영역 도출부(223)를 포함할 수 있다.

상기 이진화 영상 생성부(221)는 상기 영상을 스트레칭하여 상기 영상(20)의 콘트라스트를 향상시키는 스트레칭부(221-1) 및 콘트라스트가 향상된 상기 영상을 복수의 단위 영역(l)으로 구분하고, 구분된 상기 단위 영역(l)별로 이진화 처리하여 상기 이진화 영상(30)을 생성하는 이진화 처리부(221-2)를 포함할 수 있다.

일반적으로 영상의 콘트라스트는 영상 내 밝고 어두운 영역의 차 즉, 명암비의 크기를 의미하는 것으로 이 명암비가 클수록 콘트라스트가 높은 영상이라 볼 수 있다. 높은 콘트라스트를 갖는 영상은 영상 내 어두운 영역의 차이가 명확하여 선명도가 우수한 이미지라 할 수 있으므로, 콘트라스트가 낮은 영상을 이미지 처리하여 높은 콘트라스트를 갖는 영상으로 변환하게 되면, 해당 영상의 선명도를 향상시켜 고품질의 영상을 획득할 수 있다.

따라서, 상기 스트레칭부(221-1)는 상기 영상 각 픽셀이 갖는 영상레벨의 최소 영상레벨 및 최대 영상레벨간의 범위를 확장하여 상기 영상의 영상레벨 분포를 더욱 고르게 분산시킬 수 있으며, 이로써, 상기 영상(20)의 명암비를 더욱 크게 하여 상기 영상(20)을 더욱 선명하게 할 수 있다.

상기 스트레칭부(221-1)는 통상 업자에게 일반적인 방식인 영상의 히스토그램을 추출하여 상기 히스토그램의 최소 영상레벨 및 최대 영상레벨을 확장하는 방식인 히스토그램 스트레칭을 통해 상기 영상의 콘트라스트를 향상시킬 수 있으며, 따라서, 이에 대한 과정의 자세한 설명은 생략할 수 있다.

상기 이진화 처리부(221-2)는 콘트라스트가 향상된 상기 영상(25)을 이진화 처리하여, 상기 차선 후보영역(w)이 백색으로 나타나고 상기 차선 후보영역(w) 외의 배경영역(b)이 흑색으로 나타나는 상기 이진화 영상(30)을 생성할 수 있다.

상기 이진화 영상(30) 내에서 형성될 수 있는 백색의 상기 차선 후보영역(w) 및 흑색의 상기 배경영역(b)은 본 발명의 중요한 목적 중 하나인 상기 자기 차량(1000) 주변의 상기 영상으로부터 상기 자기 차량(1000)이 주행중인 도로의 차선에 대응하는 영역인 상기 차선영역(33)을 검출하는데 중요한 정보를 제공할 수 있다.

즉 상기 차선 후보영역(w)은 상기 차선영역(33)을 형성시킬 수 있는 영역으로써, 본 발명에 따른 상기 이진화 영상(30) 중에서는 그 색의 범위를 백색으로 한정하여 제공될 수 있으며, 상기 차선 후보영역(w) 외의 상기 배경영역(b)은 흑색으로 한정하여 제공됨으로써, 상기 이진화 영상(30)으로부터 상기 차선영역(33)을 검출할 수 있는 후보군을 제공하게 된다.

일반적인 이진화 처리 과정은, 처리하게 될 영상의 밝기값 범위 중 하나의 밝기값을 기준 밝기값으로 선택하여 상기 기준 밝기값을 기준으로 상기 기준 밝기값보다 큰 밝기값을 백색으로 나타내며, 상기 밝기값보다 작은 밝기값을 흑색으로 나타내는 것이 일반적이다.

따라서, 상기 이진화 처리부(221-2)는 콘트라스트가 향상된 상기 영상(25)이 포함하는 모든 밝기값 범위 중 하나의 밝기값을 기준 밝기값으로 선택하여 상기 기준 밝기값을 기준으로 더 큰 밝기값을 갖는 영역을 백색으로 더 작은 밝기값을 갖는 영역을 흑색으로 설정할 수 있다. 여기서, 상기 기준 밝기값은 상기 영상 중 나타날 수 있는 상기 도로상 차선의 밝기값보다 어두운 밝기값을 갖는 것이 바람직하며, 이를 위해 상기 기준 밝기값은 사전에 미리 상기 촬영부(210)를 통해 촬영된 영상에서 나타날 수 있는 상기 도로상 차선의 밝기값 영역의 범위 내에서 선택되는 것이 바람직하다.

상기 이진화 처리부(221-2)가 상기 기준 밝기값을 결정하는 방식으로는, 상기한 바와 같이 미리 측정된 도로상 차선의 밝기값을 토대로 하나의 기준 밝기값이 결정되거나, 콘트라스트가 향상된 상기 영상(25) 중 형성된 경계면의 밝기 평균값들을 이용하여 결정되거나, 콘트라스트가 향상된 상기 영상(25)의 히스토그램의 산과 계곡의 분포를 이용하여 결정되는 방법 등이 사용될 수 있으며, 콘트라스트가 향상된 상기 영상(25)으로부터 나타날 수 있는 상기 차선 후보영역(w) 및 상기 배경영역(b)을 명확하게 구분할 수 있는 상기 기준 밝기값을 결정할 수 있는 방식이라면 어떠한 방식이라도 상관없다.

상기 촬영부(210)를 통해 촬영된 영상(20)은, 도로상 주행하는 상기 자기 차량(1000)으로부터 발생되는 조명, 가로등 또는 햇빛이나 달빛과 같이 다양한 조명에 의해 부분적인 조명영역이 생성될 수 있는데, 상기 조명영역으로 인하여 정확한 상기 이진화 영상, 즉, 명확한 경계 구분이 형성된 상기 이진화 영상의 생성에 문제가 발생될 수 있다.

따라서 상기 이진화 처리부(221-2)는 콘트라스트가 향상된 상기 영상을 복수의 단위 영역(l)으로 구분하고, 구분된 상기 단위 영역(l)별로 이진화 처리하여 상기 이진화 영상(30)을 생성할 수 있다. 이를 통해 콘트라스트가 향상된 상기 영상(25)이 이진화 처리될 시, 각각의 단위 영역(l)별 조명영역을 제거하기가 상대적으로 수월하므로 전체적인 영상을 일괄적으로 이진화 처리하는 것에 대비하여 결과물의 화질이 개선될 수 있으며, 백색을 갖는 상기 차선 후보영역(w) 및 흑색의 상기 배경영역(b)이 명확하게 구분된 상기 이진화 영상(30)을 얻을 수 있다.

다음으로 상기 이진화 영상 필터링부(222)는 상기 이진화 영상에서 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하여 상기 이진화 영상 중 상기 차량(1000) 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역(31)을 결정할 수 있다. 구체적으로 상기 이진화 영상 필터링부(222)는, 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하는 배경영역 필터링부(222-1), 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하는 차선 후보영역 필터링부(222-2) 및 상기 차선 후보영역(w)을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역(w)을 삭제하여 상기 차선 구성영역(31)을 결정하는 차선 구성영역 결정부(222-3)를 포함할 수 있다.

상기 배경영역 필터링부(222-1)는 상기 이진화 영상(30) 중 상기 차선 후보영역(w) 내부에 존재하는 복수개의 상기 배경영역(b) 중 미리 결정된 면적 이하, 구체적으로, 상기 차선 구성영역(31)보다 작은 면적을 갖는 상기 배경영역(b)을 백색화하는 역할을 수행함으로써 상기 차선 구성영역(31)의 형상을 명확하게 할 수 있다.

여기서, 상기 차선 구성영역(31)의 면적은 미리 측정된 값, 즉, 본 발명에 따른 운전 지원 시스템이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)의 면적값으로부터 도출될 수 있으며, 상기 배경영역 필터링부(222-1)는 상기 차선 구성영역(31) 내부에 존재하는 상기 배경영역(b)의 보다 확실한 백색화를 위해 복수개의 상기 차선 구성영역(31)의 면적 중 최소값 미만의 면적을 갖는 상기 배경영역(b)을 백색화함으로써, 복수개의 상기 차선 구성영역(31)의 형상을 전체적으로 명확하게 할 수 있다.

상기 차선 후보영역 필터링부(222-2)는 상기 이진화 영상 중 존재하는 복수개의 상기 차선 후보영역(w) 중 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제할 수 있다.

상기 차선 후보영역 필터링부(222-2)는 상기 배경영역 필터링부(222-1)에서와 마찬가지로 본 발명에 따른 운전 지원 시스템이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)의 면적보다 작은 상기 차선 후보영역(w)을 삭제할 수 있는데, 이를 통해 상기 이진화 영상(30) 중, 상기 차선 구성영역(31)의 면적보다 작은 상기 차선 후보영역(w)이 삭제됨으로써, 상기 이진화 영상(30)에서 상기 차선 구성영역(31)의 결정을 수월하게 할 수 있다.

본 발명에 따르면, 상기 차선 구성영역(31)의 형상은 상기 차량(1000)이 주행하는 도로상의 상기 차선과 동일한 형상으로서, 선 형태를 갖고 있는 것이 바람직하다.

따라서 상기 차선 구성영역 결정부(222-3)는, 상기 이진화 영상(30) 중 복수개의 상기 차선 후보영역(w) 각각을 둘러싸는 복수개의 가상의 직사각형 중, 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역(w)을 삭제하여 상기 차선 구성영역(31)을 결정할 수 있다.

복수개의 상기 차선 후보영역(w) 각각을 둘러싸는 복수개의 상기 가상의 직사각형은 긴 변의 길이 대비 짧은 변의 길이 비율이 감소할수록 단축 대비 장축이 긴 선 모양의 상기 차선 구성영역(31)이 내부에 위치할 수 있다. 반대로, 긴 변의 길이 대비 짧은 변의 길이 비율이 증가할수록 상기 가상의 직사각형 내부에 위치할 수 있는 상기 차선 구성영역(31)은 상기 가상의 직사각형 내부에서 선 모양형태가 아닌 사각형이나 원형과 같은 도형 형태로 존재하게 된다.

상기 차선 구성영역 결정부(222-3)는 복수개의 상기 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 수치를 초과하는 상기 가상의 직사각형의 내부에 위치하는 상기 차선 구성영역(31)을 삭제하여, 상기 이진화 영상 중 복수개의 상기 차선 구성영역(31)이 될 수 있는 상기 차선 후보영역(w)을 제외한 나머지 상기 차선 후보영역(w)을 삭제할 수 있다.

상기 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율의 미리 결정된 수치는 본 발명에 따른 운전 지원 시스템이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)을 둘러쌓는 가상의 직사각형의 긴 변의 길이 및 짧은 변의 길이 비율로부터 도출될 수 있으며, 바람직하게는, 미리 측정된 복수개의 상기 가상의 직사각형의 긴 변의 길이 및 짧은 변의 길이 비율 중 최대 값으로부터 도출될 수 있다.

상술한 바와 같이 상기 이진화 영상 필터링부(222)는 상기 이진화 영상(30)으로부터 상기 차선 구성영역(31)을 결정하기 위하여 3단계의 영상 처리단계, 즉 복수개의 상기 차선 후보영역(w)의 내부 중 형성된 미리 결정된 면적 이하의 상기 배경영역(b), 즉 상기 차선 구성영역(31)의 면적 미만의 상기 배경영역(b)을 백색화하고, 복수개의 상기 차선 후보영역(w) 중 상기 차선 구성영역(31)의 면적 미만의 상기 차선 후보영역(w)을 삭제하며, 선 형태 이외의 상기 차선 후보영역(w)을 삭제하는 방식으로 상기 차선 구성영역(31)을 결정할 수 있다.

따라서 본 발명의 일 실시예에 따른 운전 지원 시스템에서 상기 차선을 검출하는 방식은, 종래의 방식인 이진화 영상 중 추출될 수 있는 좌표(32)를 통하여 직선의 방적식을 도출하여 상기 차선영역을 검출하는 방식보다 더욱 정확한 차선영역의 검출이 가능할 수 있다.

다음으로 상기 차선영역 도출부(223)는 서로 인접한 상기 차선 구성영역(31)을 곡률이 최소화되게 연결하여 복수개의 상기 차선영역(33)을 도출할 수 있다. 구체적으로 상기 차선영역 도출부(223)는, 복수개의 상기 차선 구성영역(31)상에 복수개의 좌표(32)를 설정하는 좌표 설정부(223-1), 서로 인접한 상기 좌표(32)를 연결하여 복수개의 상기 가상선(i)을 형성하는 가상선 형성부(223-2), 복수개의 상기 가상선(i) 각각의 곡률을 산출하는 곡률 산출부(223-3) 및 복수개의 상기 가상선 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선(i)을 상기 차선영역(33)으로 결정하는 차선영역 결정부(223-4)를 포함할 수 있다.

상기 좌표 설정부(223-1)는 상기 이진화 영상(30) 중 결정된 복수개의 상기 차선 구성영역(31)상에 복수개의 상기 좌표(32)를 설정할 수 있다. 상기 좌표(32)는 복수개의 상기 차선 구성영역(31) 각각의 최상단, 중간 및 최하단을 포함한 영역상에서 복수개가 설정될 수 있으며, 복수개의 상기 좌표(32)의 연결을 통하여 직선 또는 곡선이 형성될 수 있으면 각각의 상기 차선 구성영역(31)에 설정될 수 있는 상기 좌표(32)의 개수는 특별히 제한되지 않는다.

이어서, 상기 가상선 형성부(223-2)는 서로 인접한 상기 좌표(32)를 연결하여 복수개의 상기 가상선(i)을 형성할 수 있다. 복수개의 상기 가상선(i) 중 상기 자기 차량(1000)이 상기 도로상에서 주행하는 경로인 차선에 해당하는 상기 차선영역(33)이 되기 위해서는, 상기 도로상의 차선과 대응되는 형상, 즉 복수개가 최소 곡률로 나란히 형성된 것이어야 한다.

따라서 상기 곡률 산출부(223-3)는 복수개의 상기 가상선(i)의 곡률을 산출할 수 있으며, 이에 따라, 복수개의 상기 가상선(i) 중 복수개의 상기 차선영역(33)에 해당하는 상기 가상선(i)을 결정할 수 있는 근거를 제공할 수 있다.

상기 촬영부(210)는 상술한 바와 같이 상기 영상 내에서 나타날 수 있는 피사체, 즉, 상기 차선과 상기 자기 차량(1000)과의 상대거리값을 제공할 수 있으므로, 상기 곡률 산출부(223-3)는 상기 차선과 대응되게 형성되는 상기 차선영역(33)과 상기 자기 차량(1000)과의 상대거리를 판단한 후, 상기 차선영역(33)이 상기 영상 내에서 위치하는 변위의 변화를 판단하여 상기 차선영역(33)의 곡률을 판단할 수 있다.

상기 차선영역 결정부(223-4)는 복수개의 상기 가상선(i) 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선(i)을 상기 차선영역(33)으로 결정할 수 있다.

상술한 바와 같이 상기 차선영역 도출부(223)는 복수개의 상기 차선 구성영역(31)상에 복수개의 상기 좌표(32)를 설정하여 복수개의 상기 좌표(32)가 곡률이 최소화 되는 방향으로 연결되어 동일한 곡률로 나란히 형성되는 복수개의 상기 차선영역(33)을 형성할 수 있다.

상기 차선영역 도출부(223)에 있어서, 복수개의 상기 차선영역(33)은 복수개의 상기 차선 구성영역(31)이 단순한 직선의 방정식을 통하여 연결되는 것이 아니라, 각각의 최상단, 중간 및 최하단을 포함한 복수의 영역에 설정된 복수의 상기 좌표(32)가 곡률이 최소화되는 방향으로 연결되어 형성될 수 있으므로, 단순히 서로 인접한 거리를 근거하여 연결됨으로써 부정확한 상기 차선영역(33)이 형성되는 것을 방지하여 더욱 신뢰성있는 상기 차선영역(33)을 제공할 수 있는 효과가 있다.

상기 차선영역 도출부(223)에서 도출된 상기 차선영역(33)은 상기 촬영부(210)에서 촬영된 상기 자기 차량(1000)이 주행하는 도로의 상기 영상(20)내에서 나타나는 상기 도로상 차선과 대응되는 영상으로 상기 자기 차량(1000)의 주행 경로를 안내하는 지침으로서 작용할 수 있다.

하지만 상기 도로의 곡률이 급격히 변화하는 구간, 일 예로서, 상기 도로가 급격히 일 방향으로 휘어지는 구간에서는 상기 촬영부(210)가 상기 자기 차량(1000)으로부터 근거리 범위 내에 있는 상기 도로의 영상(20)만을 촬영할 수 있으며, 이 경우, 상기 촬영부(210)가 상기 자기 차량(1000)으로부터 원거리에 있는 상기 도로의 영상을 촬영하지 못하므로 상기 자기 차량(1000)이 상기 도로상의 차선에 대응하는 영역인 상기 차선영역(33)을 충분히 인식할 수 없으므로, 상기 차선영역(33)에 대응한 상기 자기 차량(1000)의 주행에 문제가 발생할 수 있다.

또한 상기 촬영부(210)가 상기 자기 차량(1000)으로부터 원거리에 있는 상기 도로의 영상을 촬영하지 못할 시, 상기 자기 차량(1000)이 상기 도로상에 존재할 수 있는 보행자나, 낙석과 같은 장애물, 또는 상기 자기 차량(1000) 외의 다른 차량(1000)을 정확히 인식하지 못하여, 이에 따른 대응운전을 지원하는데 문제가 발생할 수 있다.

따라서 상기 촬영부(210)는 상기 자기 차량(1000)이 주행하는 도로의 형상에 대응하여 회전함으로써, 상기 도로의 형상과 관계없이 상기 도로의 영상(20)을 정확히 촬영할 수 있다.

여기서 상기 촬영부(210)가 상기 도로의 형상에 대응하여 회전하기 위해서는 상기 도로의 형상에 대응한 상기 촬영부(210)의 회전 여부를 결정지을 수 있는 근거가 필요하며, 따라서, 상기 차선영역 이탈 분석부(230)는 상기 차선영역(33)을 분석하여 상기 차선영역(33)에 대응한 상기 촬영부(210)의 회전에 대한 근거를 제시할 수 있다.

구체적으로 상기 차선영역 이탈 분석부(230)는 상기 곡률에 따라 상기 차선영역(33)이 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하는지 분석할 수 있다.

상기 미리 결정된 거리라 함은, 상기 자기 차량(1000)이 상기 도로에서 주행할 시, 상기 촬영부(210)에서 촬영된 영상에 기인하여 제공될 수 있는 다양한 피사체의 정보, 일 예로, 상기 도로상 표시된 상기 차선, 상기 도로상에 존재할 수 있는 보행자, 장애물, 다른 차량(1000)등에 대해 상기 자기 차량(1000)이 대응하여 반응할 수 있는 범위 내의 거리로서, 상기 촬영부(210)를 통해 촬영된 영상으로부터 상기 자기 차량(1000)이 상기 정보를 인식하고 이에 대응하여 주행하기 위해서는 상기 촬영부(210)를 통해 촬영될 수 있는 상기 영상을 통해서 충분한 거리의 상기 차선영역(33)이 검출되어야 한다.

만약 상기 영상(20)으로부터 검출된 상기 차선영역(33)이 충분하지 않다면, 상기 자기 차량(1000)은 상기 도로상 주행경로를 정확하게 인지할 수 없어 상기 차선영역(33)으로 제공될 수 있는 상기 자기 차량(1000)의 주행경로를 정확히 따라 주행하는데 문제가 발생할 수 있다.

따라서 상기 차선영역 이탈 분석부(230)는 상기 차선영역(33)이 적용된 상기 영상 내에서 상기 차선영역(33)이 미리 결정된 거리 이상 위치하는지 분석할 수 있으며 분석된 결과에 따라 상기 촬영부(210)는 회전할 수 있다. 구체적으로 상기 차선영역 이탈 분석부(230)가 복수개의 상기 차선영역(33)이 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석하는 경우, 상기 촬영부(210)는 상기 차선영역(33)의 곡률 정도에 따라 회전하여 복수개의 상기 차선영역(33)을 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치시킬 수 있다.

상기 촬영부(210)는 상기 차선영역 이탈 분석부(230)의 분석 결과에 따라 스스로 회전을 결정하여 회전할 수 있으나, 상기 차선영역 이탈 분석부(230)의 분석결과에 따라 상기 촬영부(210)의 회전을 제어하는 회전 제어부(240)에 의하여 회전될 수 도 있다.

도 19는 본 발명의 일 실시예에 따라 자기 차량(1000)이 주행하는 도로의 곡률에 따른 촬영부(210)의 회전 및 촬영부(210)의 영상 촬영범위를 도시하고, 도 20은 본 발명의 일 실시예에 따른 촬영부(210)의 회전을 도시한다.

도 19 및 도 20을 참조하면, 상기 촬영부(210)로부터 촬영되는 상기 영상 중 상기 차선영역(33)이 미리 결정된 거리 이상 위치할 시, 즉, 상기 촬영부(210)의 화각이 상기 도로를 상기 미리 결정된 거리 이상 촬영할 수 있는 경우(도 19의 (a), 도 20의 (a)), 상기 촬영부(210)는 상기 자기 차량(1000)에서 회전하지 않아도 상기 도로의 영상(20)으로부터 상기 차선영역(33)을 충분한 영역 검출할 수 있다.

그러나 상기 촬영부(210)의 화각이 상기 도로를 미리 결정된 이상 촬영할 수 없는 경우(도 19의 (b), 도 20의 (b)), 상기 촬영부(210)는 상기 도로의 영상(20)을 상기 자기 차량(1000)으로부터 근거리의 영역까지만 촬영할 수 있다.

상기한 바와 같이 상기 차선영역 이탈 분석부(230)가 상기 차선영역(33)이 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석하는 경우, 따라서, 상기 촬영부(210)가 상기 도로의 영상(20)을 상기 자기 차량(1000)으로부터 근거리의 영역까지만 촬영할 수 있는 것으로 판단하는 경우, 상기 회전 제어부(240)는 상기 촬영부(210)를 상기 차선영역(33)의 곡률 정도에 따라 회전(도 19의 (b), 도 20의 (c))시킬 수 있다.

상기 곡률은 상기 차선영역 도출부(223)를 구성하는 상기 곡률 산출부(223-3)를 통해 산출된 값이며, 상기 촬영부(210)는 상기 곡률에 따라 회전함으로써, 상기 촬영부(210)의 화각 범위 내에서 촬영된 영상(20)으로부터 상기 차선영역(33)이 미리 결정된 영역 이상 검출될 수 있다.

이상에서는 상기 차선영역(33)이 적용된 상기 영상 내에서 상기 차선영역(33)이 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하는지 여부를 분석하여 분석된 결과에 따라 상기 촬영부(210)가 회전하는 것에 대해서 살펴보았다.

그러나 상기 차선영역 이탈 분석부(230)는 상기 영상 내에 위치하는 상기 차선영역(33)이 위치하는 영역 정도를 통하여 상기 촬영부(210)의 회전근거를 제공하는 방식 외에, 상기 차선영역(33)의 곡률을 미리 결정된 기준곡률에 비교하여 비교된 결과에 따라 상기 촬영부(210)의 회전 근거를 제시할 수 도 있다.

구체적으로, 상기 차선영역 이탈 분석부(230)는 상기 곡률을 미리 결정된 기준곡률과 비교하여 상기 곡률이 상기 기준곡률 이상일 경우, 복수개의 상기 차선영역(33)이 상기 영상(20) 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석할 수 있다.

상기 기준곡률은 사전에 상기 운전 지원 시스템이 적용된 차량(1000)의 상기 촬영부(210)를 통하여 얻은 상기 영상 내에서 상기 차선영역(33)이 위치하는 정도에 따라 측정된 상기 곡률을 미리 측정한 값으로서, 상기 차선영역(33)의 곡률을 분석함과 동시에 상기 기준 곡률에 따라 상기 촬영부(210)의 회전 근거를 제시할 수 있으므로 상기 운전지원 시스템에 더욱 빠른 상기 촬영부(210)의 회전 대응을 가능하게 할 수 있다.

또한 상기 촬영부(210)는 상기 자기 차량(1000) 운전자의 핸들 회전 방향에 따라 상기 자기 차량(1000)의 주행이 예상되는 도로의 영상으로부터 검출된 복수개의 상기 차선영역(33)의 곡률 정도에 따라 회전할 수 있다.

구체적으로 상기 자기 차량(1000)이 주행하는 도로는 어느 한 지점에서 복수개의 도로로 분할될 수 있으며, 이 경우, 상기 자기 차량(1000)의 전방에 상기 도로의 분할지점이 상기 촬영부(210)를 통해 촬영될 시, 상기 촬영부(210)는 복수개의 분할된 상기 도로 중 어느 하나의 도로의 곡률을 따라 회전해야 된다.

이 경우, 상기 촬영부(210)는 상기 자기 차량(1000)의 주행 예상방향, 즉, 상기 핸들이 유지되거나 회전되는 정도에 따라 복수개의 상기 도로 중 상기 핸들의 회전이 지향하는 방향으로 연장된 하나의 상기 도로 방향으로 회전할 수 있으며, 따라서, 상기 촬영부(210)는 상기 자기 차량(1000)의 운전자의 주행의도에 부합하여 회전될 수 있다.

상술한 바에 따른 상기 운전 지원 시스템은, 상기 도로의 곡률에 따라 회전하는 상기 촬영부(210)를 포함함으로써, 상기 도로의 형상에 관계없이 상기 도로의 영상을 촬영할 수 있으므로, 상기 자기 차량(1000)의 정상적인 주행경로의 유지의 기본이 되는 상기 차선영역(33)의 정보를 제공할 수 있으며, 또한, 상기 영상으로부터 도출될 수 있는 상기 도로상 보행자나, 낙석과 같은 장애물이나, 다른 차량(1000)과 같은 다양한 목표객체의 정보를 제공함으로써, 상기 자기 차량(1000)의 주행 안정성 및 유연성에 일조할 수 있다.

일 예로서, 상기 운전 지원 시스템은 상기 자기 차량(1000) 주변, 즉, 상기 자기 차량(1000)의 주행경로 중 상기 목표객체를 인식하여 상기 목표객체에 대응하여 상기 자기 차량(1000)의 운전을 지원할 수 있다.

구체적으로, 상기 운전 지원 시스템은 상기 자기 차량(1000) 주변의 목표객체를 인식하는 목표객체 인식부(250), 상기 자기 차량(1000)과 상기 목표객체와의 거리를 분석하는 목표객체 분석부(260) 및 상기 목표객체 분석부(260)의 분석결과에 따라 상기 자기 차량(1000)의 운전을 지원하는 운전 지원부(270)를 포함할 수 있다.

상기 목표객체 인식부(250)는 상기 촬영부(210)로부터 제공된 상기 영상을 통하여 인식될 수 있는데, 상술한 바와 같이 상기 촬영부(210)에 포함된 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)로부터 촬영된 영상(20)의 정보를 통하여 인식될 수 있다.

상기 목표객체 분석부(260)는 상기 촬영부(210)로부터 제공된 상기 영상(20)이 상기 이진화 영상 생성부(221)를 통해 이진화된 상기 이진화 영상(30)을 통해 인식될 수 있으며, 상기 영상(20) 자체로부터 상기 영상에 나타난 상기 목표객체 분석부(260)의 피사체로부터 상기 목표 객체를 바로 인식할 수 도 있다. 또한, 목표 객체 분석부(260)는 상기 촬영부(210) 또는 상기 자기 차량(1000)에 추가적으로 구비될 수 있는 초음파 센서(미도시)를 통해서도 인식될 수 있다.

이와 같이 상기 목표객체 분석부(260)는 다양한 방식을 통하여 상기 목표 객체를 인식할 수 있으므로, 상기 목표객체 분석부(260)가 상기 목표객체를 인식하는 다양한 방식들의 구체적인 설명은 논외로 할 수 있다.

상기 목표객체 분석부(260)는 상기 자기 차량(1000) 및 상기 목표객체와의 거리를 분석할 수 있는데, 이 경우, 상술한 바 있듯이, 상기 촬영부(210)는 복수개의 상기 카메라 모듈을 포함하여 구성된 스테레오(stereo) 카메라 방식을 채택하고 있으므로, 상기 촬영부(210)는 상기 촬영부(210)로부터 촬영된 영상 내의 피사체와 상기 자기 차량(1000)간의 상대거리값을 제공하므로, 상기 목표객체 분석부(260)는 상기 촬영부(210)로부터 제공된 상대거리값을 통해 상기 자기 차량(1000) 및 상기 목표객체와의 상대거리를 분석할 수 있다.

상기 자기 차량(1000)은 상기 목표객체와 일정거리를 유지하면서 주행해야 할 필요성이 있다. 만약 상기 자기 차량(1000) 및 상기 목표객체와의 거리가 매우 근접할 경우, 상기 자기 차량(1000)은 상기 목표 객체와 충돌할 가능성이 높아질 수 있으므로 상기 자기 차량(1000)은 상기 목표객체와의 충돌을 회피할 수 있는 거리인 안전거리 이상의 거리를 유지하면서 주행해야 한다.

상기 안전거리는 상기 자기 차량(1000)의 속도 및 상기 자기 차량(1000)과 상기 목표 객체와의 상대거리를 토대로 상기 자기 차량(1000)이 주행 중 상기 목표객체와의 충돌을 회피할 수 있는 최소한의 거리일 수 있다.

따라서 상기 목표 객체 분석부(260)가 상기 자기 차량(1000)이 상기 목표 객체와 상기 안전거리 미만의 거리로 근접한 것으로 분석하는 경우, 상기 운전 지원부(270)에 포함된 긴급 제동부(271)는 상기 자기 차량(1000)의 긴급 제동을 지원하여 상기 자기 차량(1000)이 상기 목표 객체와 충돌하는 것을 방지할 수 있다.

상기 운전 지원부(270)의 지원에 따른 상기 자기 차량(1000)의 긴급제동은 도 13을 통해 설명할 수 있다.

도 13에는 앞선 발명에서 설명한 순항 지원부(163)를 설명하기 위해 참조되었던 도면이나, 이하의 상기 자기 차량(1000)의 긴급 제동에 관한 설명에서는 도 13에 도시된 순항 지원부(163) 및 상기 순항 지원부(163)의 도면부호는 상기 긴급 제동부(271) 및 상기 긴급 제동부(271)의 도면부호로 이해될 수 있으며, 상기 가속페달(p)의 도면부호는 브레이크 페달의 도면부호(p)와 혼용되어 사용되는 것으로 이해될 수 있다.

도 13을 참조하면, 상기 브레이크 페달(p)은 상기 차량(1000)의 속도를 감소시키거나 제동시키기 위한 상기 자기 차량(1000)의 필수적인 구성으로서, 평상시에는 상기 자기 차량(1000)의 운전자에 의해 눌려져서 기능하게 된다.

그러나 본 발명에 따른 운전 지원 시스템에서는, 상기 목표객체 분석부(260)가 상기 자기 차량(1000)이 상기 목표객체와 상기 안전거리 미만의 거리로 근접한 것으로 분석하는 경우, 상기 긴급 제동부(271)의 제어에 의해 자동으로 눌려질 수 있다.

구체적으로, 상기 긴급 제동부(271)는 상기 솔레노이드(1210)의 전원을 인가시켜 상기 솔레노이드(1210)가 에어펌프(1220)로부터 압축공기를 실린더(1230)에 전달하도록 할 수 있으며, 상기 압축공기를 공급받은 상기 실린더(1230)는 상기 실린더(1230)의 내부에 위치하여 상하로 구동하는 피스톤 로드(1240)를 상기 실린더(1230) 외부로 돌출시켜 상기 브레이크 페달(p)을 누름으로써, 상기 차량(1000)의 긴급 제동을 가능하게 한다.

상술한 바와 같이 상기 운전 지원부(270)는 주행중인 상기 목표객체와 상기 안전거리 미만의 거리로 근접하는 경우 상기 자기 차량(1000)의 긴급 제동을 지원하여 상기 자기 차량(1000)과 상기 목표객체와의 충돌을 방지할 수 있다.

그러나 상기 운전 지원부(270)는 상기 차량(1000)의 주행 중, 상기 자기 차량(1000)이 상기 목표객체에 충돌할 가능성이 높아지는 것과 같이 상기 자기 차량(1000)의 주행에 문제가 발생할 경우, 이에 대처하는 기능을 지원할 뿐만 아니라, 상기 자기 차량(1000)이 정상적인 주행을 영위하고 있는 중에도 상기 차량(1000)의 주행을 지원할 수 있다.

다시 도 13 및 도 14를 참조하면, 상기 목표 객체 분석부(260)가 상기 자기 차량(1000)이 상기 목표 객체와 상기 안전거리 이상을 유지하는 것으로 분석하는 경우, 상기 운전 지원부(270)에 포함된 순항 지원부(272)는 상기 자기 차량(1000)의 가속 페달이 자동으로 눌려지게 제어함으로써, 상기 자기 차량(1000)의 정속주행 또는 가속주행을 지원할 수 있다.

상기 가속페달은 상기 차량(1000)의 가솔린과 공기의 양을 조절하여 상기 자기 차량(1000) 기관의 회전을 빠르게 하여, 상기 자기 차량(1000)을 가속 전진 가능하게 하는 구성으로써, 평상시에는 상기 자기 차량(1000)의 운전자에 의해 눌려져서 기능하게 된다.

그러나 본 발명의 일 실시예에 따른 운전 지원 시스템에서는, 상기 목표 객체 분석부(260)가 상기 자기 차량(1000)이 상기 목표 객체와 상기 안전거리 이상의 거리를 유지하는 것으로 분석하는 경우, 상기 순항 지원부(272)는 상기 차량(1000)의 정속주행 또는 가속주행이 가능하도록 상기 가속페달이 자동으로 눌려지게 제어할 수 있다.

도 13를 참조하면, 상기 목표객체 분석부(260)가 상기 자기 차량(1000)이 상기 목표객체와 상기 안전거리 이상의 거리를 유지하는 것으로 분석하는 경우, 상기 순항 지원부(272)는 솔레노이드(1210)의 전원을 인가시켜 상기 솔레노이드(1210)가 에어 펌프(1220)로부터 압축공기를 실린더(1230)에 전달하도록 할 수 있다. 이어서, 상기 압축공기를 공급받은 상기 실린더(1230)는 상기 실린더(1230)의 내부에 위치하여 상하로 구동하는 피스톤 로드(1240)를 상기 실린더(1230) 외부로 돌출시켜 상기 가속페달을 누름으로써, 상기 자기 차량(1000)의 정속주행 또는 가속주행을 가능하게 한다. 상기 순항 지원부(272)의 지원에 따른 상기 자기 차량(1000)의 정속주행 또는 가속주행은 상기 피스톤 로드(1240)의 돌출되는 정도에 의한 상기 가속 페달이 눌려지는 정도에 따라 결정될 수 있다.

상기 솔레노이드(1210)는, 상기 순항 지원부(272)의 지원에 따른 상기 가속페달의 제어를 차단할 수 있는 비상 해제 스위치(1290)와 연결될 수 있다.

도 14를 참조하면, 상기 비상 해제 스위치(1290)가 작동하여 상기 솔레노이트의 전원이 차단되어 상기 솔레노이드(1210)가 상기 에어 펌프(1220)로부터 압축공기를 상기 실린더(1230)에 전달하지 못해 상기 실린더(1230) 내부에 위치하는 상기 피스톤 로드(1240)가 상기 실린더(1230) 내부로 다시 삽입되는 것을 볼 수 있으며, 따라서, 상기 비상 해제 스위치(1290)가 작동할 시, 상기 가속 페달을 누르는 상기 피스톤 로드(1240)는 상기 실린더(1230)의 내부로 삽입되므로 상기 가속 페달은 상기 운전 지원부(270)의 지원이 차단된 완벽한 수동모드로 전환될 수 있다.

따라서 상기 자기 차량(1000)의 운전자는 상기 순항 지원부(272)의 운전 지원을 선택적으로 상기 차량(1000)에 적용시킬 수 있으므로, 더욱 유연한 상기 차량(1000)의 운영을 가능하게 할 수 있으며, 또한, 상기 순항 지원부(272)가 이상 작동을 하여 상기 자기 차량(1000)의 주행에 있어 위험 요소를 발생시킬 시, 상기 자기 차량(1000)을 신속하게 수동 주행모드로 전환할 수 있으므로, 운전자는 상기 자기 차량(1000)을 더욱 안전하게 운영할 수 있다.

이하에서는 상기 운전 지원 시스템이 적용된 자기 차량(1000)이 주행하거나 주정차 중일 시, 자기 차량(1000)에 장착된 촬영부(210)가 상기 자기 차량(1000)이 위치하는 도로의 곡률에 대응하여 회전하여 상기 자기 차량(1000) 주변의 영상을 촬영하고, 촬영된 영상에 따라 상기 차량(1000)의 운전을 지원하는 운전 지원 방법에 대해서 살펴볼 수 있다.

도 21은 본 발명의 또 다른 실시예에 따른 운전 지원 방법의 순서도이다.

상기 운전 지원 방법은 주행중 또는 주정차중인 자기 차량(1000)의 주변을 촬영하고, 촬영된 영상에 따라 상기 자기 차량(1000)의 운전을 지원하는 운전 지원 방법으로서, 상기 자기 차량(1000)에 장착된 적어도 하나의 촬영부(210)를 통해 상기 자기 차량(1000) 주변의 영상을 촬영하는 촬영단계(S210), 상기 영상 중 복수개의 차선영역(33)을 검출하는 차선영역 검출단계(S220) 및 상기 곡률에 따라 복수개의 상기 차선영역(33)이 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하는지 분석하는 차선영역 이탈 분석단계(S230)를 포함할 수 있으며, 상기 차선영역 이탈 분석단계(S230)에서 복수개의 상기 차선영역(33)이 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석되는 경우, 상기 촬영단계(S210)는 상기 곡률 정도에 따라 적어도 하나의 상기 촬영부(210)를 회전시킬 수 있다.

상기 촬영부(210)는 주행중 또는 주정차중인 상기 자기 차량(1000)으로부터 상기 자기 차량(1000) 주변의 영상(20)을 촬영하는 기능을 하는 구성으로서, 상기 자기 차량(1000)의 일부 영역에 장착되어 상기 영상(20)을 촬영할 수 있다면 상기 촬영부(210)가 상기 자기 차량(1000)상에 장착되는 위치는 특별히 제한되지 않으나, 상기 자기 차량(1000)은 일반적으로 고속의 전방주행을 주된 기능으로 하므로, 상기 자기 차량(1000)의 전방 영역을 포함한 적어도 하나의 위치에 장착되어 상기 자기 차량(1000)의 전방 영역을 포함한 적어도 하나의 영역으로부터 상기 자기 차량(1000) 주변의 영상을 촬영하도록 구성되는 것이 바람직하다.

상기 촬영부(210)는 상기 자기 차량(1000)에 장착되어 상기 자기 차량(1000) 주변의 영상(20)을 촬영하는 것을 주된 기능으로 하지만, 상기 자기 차량(1000) 주변의 영상으로부터 검출될 수 있는 피사체와 상기 자기 차량(1000)과의 거리를 판단하는 기능 또한 상기 촬영부(210)의 중요한 기능 중 하나일 수 있다. 여기서, 상기 피사체는 상기 자기 차량(1000)이 주행하는 도로상의 차선, 장애물, 보행자 및 상기 자기 차량(1000) 외의 다른 차량(1000)과 같이 상기 영상(20) 중에 나타날 수 있는 모든 객체일 수 있다.

즉, 상기 촬영부(210)는 상기 자기 차량(1000) 주변의 영상을 촬영함과 동시에 상기 영상에 나타나는 피사체와 상기 자기 차량(1000)간의 상대거리값을 제공하여 상기 자기 차량(1000)이 상기 피사체에 대응한 주행을 가능하게 할 수 있다. 상기 피사체에 대응한 상기 자기 차량(1000)의 주행에 관한 설명은 후술하기로 한다.

따라서 상기 촬영부(210)는 상기 촬영부(210)의 측면상의 동일한 수평축을 따라 상기 자기 차량(1000) 외부의 영상(20)을 촬영하는 복수개의 카메라 모듈(221,222,223)을 포함할 수 있다.

상기 촬영부(210)는 상기 카메라 모듈을 복수개 포함함으로써, 상기 자기 차량(1000)으로부터 상기 피사체간의 상대거리를 판단할 수 있는데, 복수개의 상기 카메라 모듈은 상기 촬영부(210)상에서 동일한 수평축상에 서로 다른 위치에 구비되므로, 복수개의 상기 카메라 모듈로부터 촬영된 각각의 영상(20)은 동일한 피사체를 동일한 영상규격 내에서 서로 다른 위치, 즉, 서로 다른 좌우의 거리 차이(시차)를 두고 나타낼 수 있다.

따라서 상기 촬영부(210)는 복수개의 상기 카메라 모듈로부터 제공된 각각의 영상(20)에서 나타내는 동일한 피사체간의 상기 시차를 통하여 상기 촬영부(210), 다시 말해, 상기 촬영부(210)가 장착된 상기 차량(1000)과 상기 피사체간의 상대거리값을 제공할 수 있다.

상기 촬영부(210)는 가시광선 카메라 모듈(221), 적외선 카메라 모듈(222), 열화상 카메라 모듈(223) 중 적어도 하나를 포함할 수 있으며, 상술한 바와 같이, 상기 자기 차량(1000)의 주변 영상을 촬영함과 더불어 상기 영상(20) 내의 피사체와 상기 자기 차량(1000)간의 상대거리를 판별하기 위하여 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223) 중 적어도 하나를 복수개 포함하여 구성될 수 있다.

상기 촬영부(210)를 구성하는 상기 카메라 모듈에 대해 더욱 자세히 살펴보면, 상기 촬영부(210)에 포함될 수 있는 복수개의 상기 가시광선 카메라 모듈(221)은 CMOS(Complementary Metal Oxide Semiconductor) 카메라 모듈 또는 CCD(Charage-Coupled Device) 카메라 모듈일 수 있으며, 가시광선 대역인 약 400 내지 800 nm의 영역을 촬영하므로 빛을 통해 최적화된 영상을 얻을 수 있는 주간에 사용이 용이할 수 있다.

상기 가시광선 카메라 모듈(221)은 가시광선이 미약한 야간에는 촬영할 수 있는 가시광선 대역의 에너지가 매우 적어 별도의 조명장치를 병용하여 사용하지 않을 경우 촬영이 불가능할 수 있다. 그러나, 상기 가시광선 카메라 모듈(221)을 상기 조명장치와 병용하여 사용할 경우, 상기 조명장치의 강도 및 종류에 따라 촬영될 수 있는 영상의 결과가 상이해질 수 있으므로, 촬영된 영상 결과에 대한 신뢰도가 저하될 수 있다.

따라서 상기 촬영부(210)는 복수개의 상기 가시광선 카메라 모듈(221)과 함께 상기 적외선 카메라 모듈(222)을 복수개 포함하여, 주간에는 상기 가시광선 카메라 모듈(221)을 통해 상기 자기 차량(1000) 주변의 영상을 촬영하고, 야간에는 상기 적외선 카메라 모듈(222)이 상기 가시광선 카메라 모듈(221)의 역할을 대신하도록 구성될 수 있다.

일반적으로 달빛이나 별빛이 존재하는 야간에는 580 nm 전후의 대역을 갖는 근적외선 에너지가 상당히 존재하여 상기 촬영부(210)는 상기 적외선 카메라 모듈(222)만으로도 상기 차량(1000) 외부의 영상을 충분히 촬영할 수 있다.

그러나 별빛은 존재하나 달빛이 없는 경우와 같이, 보다 더 어두운 야간에는 근적외선 에너지 또한 거의 존재하지 않으며, 대신 1000 내지 1200 nm 대역의 적외선 영역에서 상당한 에너지가 존재하게 된다. 따라서 상기 적외선 카메라 모듈(222)은 더욱 어두운 상황에 대비할 수 있도록 1000 내지 1200 nm 대역의 적외선을 촬영 가능한 상기 적외선 카메라 모듈(222)일 수 있다.

그러나 달빛과 별빛이 모두 존재함으로써, 보다 밝은 야간에는 상술한 바와 같이 1000 내지 1200 nm 대역의 적외선 에너지가 거의 존재하지 않으므로, 이를 보완하기 위해, 상기 촬영부(210)는 1000 내지 1200 nm 대역의 적외선을 방출하는 적외선 LED(224) 적어도 하나 포함할 수 있다. 따라서 비교적 어두운 야간, 즉, 1000 내지 1200 nm 대역의 근적외선 에너지가 상당히 존재하는 야간에는, 상기 적외선 카메라 모듈(222)만을 통하여 상기 차량(1000) 주변을 촬영할 수 있으며, 비교적 밝은 야간, 즉, 1000 내지 1200 nm 대역의 적외선 에너지가 거의 존재하지 않을 시에는, 상기 적외선 LED(224)를 통해 1000 내지 1200nm 대역 에너지의 적외선을 보완할 수 있으므로, 야간별로 상이할 수 있는 밝기에 관계없이 모든 야간에서 상기 적외선 카메라 모듈(222)을 통한 영상의 촬영이 가능하다.

또한, 상술한 바와 반대로, 상기 적외선 카메라 모듈(222)이 850 nm 전후 대역의 근적외선을 촬영하며, 비교적 어두운 야간, 즉, 850 nm 전후 대역의 근적외선이 거의 검출되지 않을 시에는 850 nm 전후 대역의 근적외선을 조사하는 상기 적외선 LED(224)를 통해 이를 보완하도록 구성될 수 있다.

그러나 1000 내지 1200 nm의 적외선 파장은 육안으로 인지하지 못하는 형상을 감지하는 특성뿐만 아니라 850 nm 정도의 근적외선에 비해 더 멀리까지 에너지 전달이 가능하므로, 상술한 바와 같은 구성, 즉, 상기 적외선 카메라 모듈(222)은 1000 내지 1200 nm의 적외선을 촬영하며, 1000 내지 1200 nm의 적외선 파장을 조사하는 상기 적외선 LED(224)가 비교적 밝은 야간에 상기 적외선 카메라 모듈(222)을 보완하도록 구성되는 것이 보다 바람직하다.

또한 상기 촬영부(210)는 적어도 하나의 열화상 카메라 모듈(223)를 포함할 수 있다. 상기 열화상 카메라 모듈 (223)는 상기 피사체의 열복사를 전자적으로 측정함으로써 상기 피사체를 감지하는 구성으로, 상기 열화상 카메라 모듈(223)를 통해 인식된 상기 자기 차량(1000) 외부의 영상(20)은 상기 피사체의 측정된 온도에 따라 색을 달리하므로, 상기 도로상에 보행자나 동물과 같이 체온을 갖는 상기 피사체의 인식에 유용하게 사용될 수 있다.

상술한 바와 같이 상기 촬영부(210)는 상기 가시광선 카메라 모듈(221) 및 상기 적외선 카메라 모듈(222)를 통하여 상기 자기 차량(1000)의 주행경로상 상기 피사체를 주간 및 야간에 용이하게 인식할 수 있으며, 상기 열화상 카메라 모듈(223)를 통하여 보행자나 동물과 같은 체온을 갖는 상기 피사체의 인식을 더욱 정확하게 할 수 있다.

상기 촬영부(210)는 적어도 하나의 에어 분출부(225)를 포함할 수 있다. 에어 분출부(225)는 도 17에 도시된 바와 같이 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)의 렌즈 압축 에어를 분사하여, 상기 차량(1000) 외부에 위치하여 비나 눈과 같은 다양한 외부 상황에 영향을 받아 오염될 수 있는 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)의 렌즈를 세정함으로써, 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)이 오염에 의해 기능이 저하되는 것을 사전에 방지할 수 있다.

또한 상기 촬영부(210)는 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)의 렌즈에 워셔액을 분사하는 워셔액 분사기(226) 및 상기 워셔액이 분사된 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)의 렌즈를 닦아내는 와이퍼(227)를 더 포함함으로써, 상기 촬영부(210)의 외부 인식 능력이 저하되지 않게 유지할 수 있다.

이어서, 상기 차선영역 검출단계(S220)는 상기 촬영단계(S210)에서 상기 촬영부(210)를 통해 촬영된 상기 영상을 통해 복수개의 상기 차선영역(33)을 검출할 수 있다. 구체적으로 상기 차선영역 검출단계(S220)는 차선 후보영역(w)이 백색으로 나타나고 상기 차선 후보영역(w) 외의 배경영역(b)이 흑색으로 나타나도록 상기 영상을 이진화하여 이진화 영상(30)을 생성하는 이진화 영상 생성단계(S221), 상기 이진화 영상에서 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하여 상기 이진화 영상 중 상기 자기 차량(1000) 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역(31)을 결정하는 이진화 영상 필터링단계(S222) 및 서로 인접한 상기 차선 구성영역(31)을 곡률이 최소화되게 연결하여 복수개의 차선영역(33)을 도출하는 차선영역 도출단계(S223)를 포함할 수 있다.

상기 이진화 영상 생성단계(S221)는 상기 영상을 스트레칭하여 상기 영상(20)의 콘트라스트를 향상시키는 스트레칭단계(S221-1) 및 콘트라스트가 향상된 상기 영상(25)을 복수의 단위 영역(l)으로 구분하고, 구분된 상기 단위 영역(l)별로 이진화 처리하여 상기 이진화 영상(30)을 생성하는 이진화 처리단계(S221-2)를 포함할 수 있다.

일반적으로 영상의 콘트라스트는 영상 내 밝고 어두운 영역의 차 즉, 명암비의 크기를 의미하는 것으로 이 명암비가 클수록 콘트라스트가 높은 영상이라 볼 수 있다. 높은 콘트라스트를 갖는 영상은 영상 내 어두운 영역의 차이가 명확하여 선명도가 우수한 이미지라 할 수 있으므로, 콘트라스트가 낮은 영상을 이미지 처리하여 높은 콘트라스트를 갖는 영상으로 변환하게되면, 해당 영상의 선명도를 향상시켜 고품질의 영상을 획득할 수 있다.

따라서 상기 스트레칭단계(S221-1)는 상기 영상(20) 각 픽셀이 갖는 영상레벨의 최소 영상레벨 및 최대 영상레벨간의 범위를 확장하여 상기 영상의 영상레벨 분포를 더욱 고르게 분산시킬 수 있으며, 이로써, 상기 영상의 명암비를 더욱 크게하여 상기 영상(20)을 더욱 선명하게 할 수 있다.

상기 스트레칭단계(S221-1)는 통상 업자에게 일반적인 방식인 영상의 히스토그램을 추출하여 상기 히스토그램의 최소 영상레벨 및 최대 영상레벨을 확장하는 방식인 히스토그램 스트레칭을 통해 상기 영상의 콘트라스트를 향상시킬 수 있으며, 따라서, 이에 대한 과정의 자세한 설명은 생략할 수 있다.

이어서, 상기 이진화 처리단계(S221-2)는 콘트라스트가 향상된 상기 영상(25)을 이진화 처리하여, 상기 차선 후보영역(w)이 백색으로 나타나고 상기 차선 후보영역(w) 외의 배경영역(b)이 흑색으로 나타나는 상기 이진화 영상(30)을 생성할 수 있다.

상기 이진화 영상(30) 내에서 형성될 수 있는 백색의 상기 차선 후보영역(w) 및 흑색의 상기 배경영역(b)은 본 발명의 중요한 목적 중 하나인 상기 자기 차량(1000) 주변의 상기 영상으로부터 상기 자기 차량(1000)이 주행중인 도로의 차선에 대응하는 영역인 상기 차선영역(33)을 검출하는데 중요한 정보를 제공할 수 있다.

즉, 상기 차선 후보영역(w)은 상기 차선영역(33)을 형성시킬 수 있는 영역으로써, 본 발명에 따른 상기 이진화 영상(30)중에서는 그 색의 범위를 백색으로 한정하여 제공될 수 있으며, 상기 차선 후보영역(w) 외의 상기 배경영역(b)은 흑색으로 한정하여 제공됨으로써, 상기 이진화 영상으로부터 상기 차선영역(33)을 검출할 수 있는 후보군을 제공하게 된다.

일반적인 이진화 처리 과정은, 처리하게 될 영상의 밝기값 범위 중 하나의 밝기값을 기준 밝기값으로 선택하여 상기 기준 밝기값을 기준으로 상기 기준 밝기값보다 큰 밝기값을 백색으로 나타내며, 상기 밝기값보다 작은 밝기값을 흑색으로 나타내는 것이 일반적이다.

따라서 상기 이진화 처리단계(S221-2)는 콘트라스트가 향상된 상기 영상(25)이 포함하는 모든 밝기값 범위 중 하나의 밝기값을 기준 밝기값으로 선택하여 상기 기준 밝기값을 기준으로 더 큰 밝기값을 갖는 영역을 백색으로 더 작은 밝기값을 갖는 영역을 흑색으로 설정할 수 있다. 여기서, 상기 기준 밝기값은 상기 영상 중 나타날 수 있는 상기 도로상 차선의 밝기값보다 어두운 밝기값을 갖는 것이 바람직하며, 이를 위해 상기 기준 밝기값은 사전에 미리 상기 촬영단계(S210)를 통해 촬영된 영상에서 나타날 수 있는 상기 도로상 차선의 밝기값 영역의 범위 내에서 선택되는 것이 바람직하다.

상기 이진화 처리단계(S221-2)가 상기 기준 밝기값을 결정하는 방식으로는, 상기한 바와 같이 미리 측정된 도로상 차선의 밝기값을 토대로 하나의 기준 밝기값이 결정되거나, 콘트라스트가 향상된 상기 영상(25) 중 형성된 경계면의 밝기 평균값들을 이용하여 결정되거나, 콘트라스트가 향상된 상기 영상(25)의 히스토그램의 산과 계곡의 분포를 이용하여 결정되는 방법 등이 사용될 수 있으며, 콘트라스트가 향상된 상기 영상으로부터 나타날 수 있는 상기 차선 후보영역(w) 및 상기 배경영역(b)을 명확하게 구분할 수 있는 상기 기준 밝기값을 결정할 수 있는 방식이라면 어떠한 방식이라도 상관없다.

상기 촬영단계(S210)를 통해 촬영된 영상(20)은, 도로상 주행하는 상기 자기 차량(1000)으로부터 발생되는 조명, 가로등 또는 햇빛이나 달빛과 같이 다양한 조명에 의해 부분적인 조명영역이 생성될 수 있는데, 상기 조명영역으로 인하여 정확한 상기 이진화 영상(30), 즉, 명확한 경계 구분이 형성된 상기 이진화 영상(30)의 생성에 문제가 발생될 수 있다.

따라서 상기 이진화 처리단계(S221-2)는 콘트라스트가 향상된 상기 영상을 복수의 단위 영역(l)으로 구분하고, 구분된 상기 단위 영역(l)별로 이진화 처리하여 상기 이진화 영상을 생성할 수 있다. 이를 통해 콘트라스트가 향상된 상기 영상이 이진화 처리될 시, 각각의 단위 영역(l)별 조명영역을 제거하기가 상대적으로 수월하므로 전체적인 영상을 일괄적으로 이진화 처리하는 것에 대비하여 결과물의 화질이 개선될 수 있으며, 백색을 갖는 상기 차선 후보영역(w) 및 흑색의 상기 배경영역(b)이 명확하게 구분된 상기 이진화 영상(30)을 얻을 수 있다.

다음으로 상기 이진화 영상 필터링단계(S222)는 상기 이진화 영상에서 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하고, 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하여 상기 이진화 영상(30) 중 상기 차량(1000) 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역(31)을 결정할 수 있다.

구체적으로 상기 이진화 영상 필터링단계(S222)는, 상기 차선 후보영역(w) 내부에 미리 결정된 면적 이하의 상기 배경영역(b)을 백색화하는 배경영역 필터링단계(S222-1), 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제하는 차선 후보영역 필터링단계(S222-2) 및 상기 차선 후보영역(w)을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역(w)을 삭제하여 상기 차선 구성영역(31)을 결정하는 차선 구성영역 결정단계(S222-3)를 포함할 수 있다.

상기 배경영역 필터링단계(S222-1)는 상기 이진화 영상(30) 중 상기 차선 후보영역(w) 내부에 존재하는 복수개의 상기 배경영역(b) 중 미리 결정된 면적 이하, 구체적으로, 상기 차선 구성영역(31)보다 작은 면적을 갖는 상기 배경영역(b)을 백색화하는 역할을 수행함으로써 상기 차선 구성영역(31)의 형상을 명확하게 할 수 있다.

상기 차선 구성영역(31)의 면적은 미리 측정된 값, 즉, 본 발명에 따른 운전 지원 방법이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)의 면적값으로부터 도출될 수 있으며, 상기 배경영역 필터링단계(S222-1)는 상기 차선 구성영역(31) 내부에 존재하는 상기 배경영역(b)의 보다 확실한 백색화를 위해 복수개의 상기 차선 구성영역(31)의 면적 중 최소값 미만의 면적을 갖는 상기 배경영역(b)을 백색화함으로써, 복수개의 상기 차선 구성영역(31)의 형상을 전체적으로 명확하게 할 수 있다.

이어서, 상기 차선 후보영역 필터링단계(S222-2)는 상기 이진화 영상(30) 중 존재하는 복수개의 상기 차선 후보영역(w) 중 미리 결정된 면적 이하의 상기 차선 후보영역(w)을 삭제할 수 있다.

상기 차선 후보영역 필터링단계(S222-2)는 상기 배경영역 필터링단계(S222-1)에서와 마찬가지로 본 발명에 따른 운전 지원 방법이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)의 면적보다 작은 상기 차선 후보영역(w)을 삭제할 수 있는데, 이를 통해 상기 이진화 영상(30) 중, 상기 차선 구성영역(31)의 면적보다 작은 상기 차선 후보영역(w)이 삭제됨으로써, 상기 이진화 영상(30)에서 상기 차선 구성영역(31)의 결정을 수월하게 할 수 있다.

본 발명에 따르면, 상기 차선 구성영역(31)의 형상은 상기 차량(1000)이 주행하는 도로상의 상기 차선과 동일한 형상으로서, 선 형태를 갖고 있는 것이 바람직하다.

따라서, 상기 차선 구성영역 결정단계(S222-3)는, 상기 이진화 영상(30) 에서 복수개의 상기 차선 후보영역(w) 각각을 둘러싸는 복수개의 가상의 직사각형 중, 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역(w)을 삭제하여 상기 차선 구성영역(31)을 결정할 수 있다.

복수개의 상기 차선 후보영역(w) 각각을 둘러싸는 복수개의 상기 가상의 직사각형은 긴 변의 길이 대비 짧은 변의 길이 비율이 감소할수록 단축 대비 장축이 긴 선 모양의 상기 차선 구성영역(31)이 내부에 위치할 수 있다. 반대로, 긴 변의 길이 대비 짧은 변의 길이 비율이 증가할수록 상기 가상의 직사각형 내부에 위치할 수 있는 상기 차선 구성영역(31)은 상기 가상의 직사각형 내부에서 선 모양형태가 아닌 사각형이나 원형과 같은 도형 형태로 존재하게 된다.

따라서 상기 차선 구성영역 결정단계(S222-3)는 복수개의 상기 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 수치를 초과하는 상기 가상의 직사각형의 내부에 위치하는 상기 차선 구성영역(31)을 삭제하여, 상기 이진화 영상 중 복수개의 상기 차선 구성영역(31)이 될 수 있는 상기 차선 후보영역(w)을 제외한 나머지 상기 차선 후보영역(w)을 삭제할 수 있다.

여기서, 상기 가상의 직사각형 중 긴 변의 길이 대비 짧은 변의 길이 비율의 미리 결정된 수치는 본 발명에 따른 운전 지원 방법이 사전에 미리 적용되어 검출된 상기 차선 구성영역(31)을 둘러쌓는 가상의 직사각형의 긴 변의 길이 및 짧은 변의 길이 비율로부터 도출될 수 있으며, 바람직하게는, 미리 측정된 복수개의 상기 가상의 직사각형의 긴 변의 길이 및 짧은 변의 길이 비율 중 최대 값으로부터 도출될 수 있다.

상술한 바와 같이 상기 이진화 영상 필터링단계(S222)는 상기 이진화 영상으로부터 상기 차선 구성영역(31)을 결정하기 위하여 3단계의 영상 처리단계, 즉, 복수개의 상기 차선 후보영역(w)의 내부 중 형성된 미리 결정된 면적 이하의 상기 배경영역(b), 즉, 상기 차선 구성영역(31)의 면적 미만의 상기 배경영역(b)을 백색화하고, 복수개의 상기 차선 후보영역(w) 중 상기 차선 구성영역(31)의 면적 미만의 상기 차선 후보영역(w)을 삭제하며, 선 형태 이외의 상기 차선 후보영역(w)을 삭제하는 방식으로 상기 차선 구성영역(31)을 결정할 수 있다.

따라서 본 발명의 일 실시예에 따른 운전 지원 방법에서 상기 차선을 검출하는 방식은, 종래의 방식인 이진화 영상(30) 중 추출될 수 있는 좌표(32)를 통하여 직선의 방적식을 도출하여 상기 차선을 검출하는 방식보다 더욱 정확한 차선의 검출이 가능할 수 있다.

이어서 상기 차선영역 도출단계(S223)는 서로 인접한 상기 차선 구성영역(31)을 곡률이 최소화되게 연결하여 복수개의 상기 차선영역(33)을 도출할 수 있다.

구체적으로, 상기 차선영역 도출단계(S223)는, 복수개의 상기 차선 구성영역(31)상에 복수개의 좌표(32)를 설정하는 좌표 설정단계(S223-1), 서로 인접한 상기 좌표(32)를 연결하여 복수개의 상기 가상선(i)을 형성하는 가상선 형성단계(S223-2), 복수개의 상기 가상선(i) 각각의 곡률을 산출하는 곡률 산출단계(S223-3) 및 복수개의 상기 가상선(i) 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선(i)을 상기 차선영역(33)으로 결정하는 차선영역 결정단계(S223-4)를 포함할 수 있다.

상기 좌표 설정단계(S223-1)는 상기 이진화 영상 중 결정된 복수개의 상기 차선 구성영역(31)상에 복수개의 상기 좌표(32)를 설정할 수 있다. 상기 좌표(32)는 복수개의 상기 차선 구성영역(31) 각각의 최상단, 중간 및 최하단을 포함한 영역상에서 복수개가 설정될 수 있으며, 복수개의 상기 좌표(32)의 연결을 통하여 직선 또는 곡선이 형성될 수 있으면 각각의 상기 차선 구성영역(31)에 설정될 수 있는 상기 좌표(32)의 개수는 특별히 제한되지 않는다.

이어서 상기 가상선 형성단계(S223-2)는 서로 인접한 상기 좌표(32)를 연결하여 복수개의 상기 가상선(i)을 형성할 수 있다.

여기서, 복수개의 상기 가상선(i) 중 상기 자기 차량(1000)이 상기 도로상에서 주행하는 경로인 차선에 해당하는 상기 차선영역(33)이 되기 위해서는, 상기 도로상의 차선과 대응되는 형상, 즉, 복수개가 최소 곡률로 나란히 형성된 것이어야 한다.

따라서 상기 곡률 산출단계(S223-3)는 복수개의 상기 가상선(i)의 곡률을 산출할 수 있으며, 이에 따라, 복수개의 상기 가상선(i) 중 복수개의 상기 차선영역(33)에 해당하는 상기 가상선(i)을 결정할 수 있는 근거를 제공할 수 있다.

상기 촬영부(210)는 상술한 바와 같이 상기 영상 내에서 나타날 수 있는 피사체, 즉, 상기 차선과 상기 자기 차량(1000)과의 상대거리값을 제공할 수 있으므로, 상기 곡률 산출단계(S223-3)는 상기 차선과 대응되게 형성되는 상기 차선영역(33)과 상기 자기 차량(1000)과의 상대거리를 판단한 후, 상기 차선영역(33)이 상기 영상(20) 내에서 위치하는 변위의 변화를 판단하여 상기 차선영역(33)의 곡률을 판단할 수 있다.

이어서 상기 차선영역 결정단계(S223-4)는 복수개의 상기 가상선(i) 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선(i)을 상기 차선영역(33)으로 결정할 수 있다.

상술한 바와 같이 상기 차선영역 도출단계(S223)는 복수개의 상기 차선 구성영역(31)상에 복수개의 상기 좌표(32)를 설정하여 복수개의 상기 좌표(32)가 곡률이 최소화 되는 방향으로 연결되어 동일한 곡률로 나란히 형성되는 복수개의 상기 차선영역(33)을 형성할 수 있다.

상기 차선 영역 도출단계(S223)에 있어서, 복수개의 상기 차선영역(33)은 복수개의 상기 차선 구성영역(31)이 단순한 직선의 방정식을 통하여 연결되는 것이 아니라, 각각의 최상단, 중간 및 최하단을 포함한 복수의 영역에 설정된 복수의 상기 좌표(32)가 곡률이 최소화되는 방향으로 연결되어 형성될 수 있으므로, 단순히 서로 인접한 거리를 근거하여 연결됨으로써 부정확한 상기 차선영역(33)이 형성되는 것을 방지하여 더욱 신뢰성있는 상기 차선영역(33)을 제공할 수 있는 효과가 있다.

상기 차선영역 도출단계(S223)에서 도출된 상기 차선영역(33)은 상기 촬영부(210)에서 촬영된 상기 자기 차량(1000)이 주행하는 도로의 상기 영상내에서 나타나는 상기 도로상 차선과 대응되는 영역으로 상기 자기 차량(1000)의 주행 경로를 안내하는 지침으로서 작용할 수 있다.

하지만, 상기 도로의 곡률이 급격히 변화하는 구간, 일 예로서, 상기 도로가 급격히 일 방향으로 휘어지는 구간에서는 상기 촬영부(210)가 상기 자기 차량(1000)으로부터 근거리 범위 내에 있는 상기 도로의 영상만을 촬영할 수 있으며, 이 경우, 상기 촬영부(210)가 상기 자기 차량(1000)으로부터 원거리에 있는 상기 도로의 영상을 촬영하지 못하므로 상기 자기 차량(1000)이 상기 도로상의 차선에 대응하는 영역인 상기 차선영역(33)을 충분히 인식할 수 없으므로, 상기 차선영역(33)에 대응한 상기 자기 차량(1000)의 주행에 문제가 발생할 수 있다.

또한, 상기 촬영부(210)가 상기 자기 차량(1000)으로부터 원거리에 있는 상기 도로의 영상을 촬영하지 못할 시, 상기 자기 차량(1000)이 상기 도로상에 존재할 수 있는 보행자나, 낙석과 같은 장애물, 또는 상기 자기 차량(1000) 외의 다른 차량(1000)을 정확히 인식하지 못하여, 이에 따른 대응운전을 지원하는데 문제가 발생할 수 있다.

따라서, 상기 촬영부(210)는 상기 자기 차량(1000)이 주행하는 도로의 형상에 대응하여 회전함으로써, 상기 도로의 형상과 관계없이 상기 도로의 영상을 정확히 촬영할 수 있다.

상기 촬영부(210)가 상기 도로의 형상에 대응하여 회전하기 위해서는 상기 도로의 형상에 대응한 상기 촬영부(210)의 회전 여부를 결정지을 수 있는 근거가 필요하며, 상기 차선영역 이탈 분석단계(S230)는 상기 차선영역(33)을 분석하여 상기 차선영역(33)에 대응한 상기 촬영부(210)의 회전에 대한 근거를 제시할 수 있다.

구체적으로, 상기 차선영역 이탈 분석단계(S230)는 상기 곡률에 따라 상기 차선영역(33)이 상기 영상 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하는지 분석할 수 있다.

상기 미리 결정된 거리라 함은, 상기 자기 차량(1000)이 상기 도로에서 주행할 시, 상기 촬영부(210)에서 촬영된 영상(20)에 기인하여 제공될 수 있는 다양한 피사체의 정보, 일 예로, 상기 도로상 표시된 상기 차선, 상기 도로상에 존재할 수 있는 보행자, 장애물, 다른 차량(1000)등에 대해 상기 자기 차량(1000)이 대응하여 반응할 수 있는 범위 내의 거리로서, 상기 촬영부(210)를 통해 촬영된 영상(20)으로부터 상기 자기 차량(1000)이 상기 정보를 인식하고 이에 대응하여 주행하기 위해서는 상기 촬영부(210)를 통해 촬영될 수 있는 상기 영상(20)을 통해서 충분한 거리의 상기 차선영역(33)이 검출되어야 한다.

만약, 상기 영상(20)으로부터 검출된 상기 차선영역(33)이 충분하지 않다면, 상기 자기 차량(1000)은 상기 도로상 주행경로를 정확하게 인지할 수 없어 상기 차선영역(33)으로 제공될 수 있는 상기 자기 차량(1000)의 주행경로를 정확히 따라 주행하는데 문제가 발생할 수 있다.

따라서 상기 차선영역 이탈 분석단계(S230)는 상기 차선영역(33)이 적용된 상기 영상 내에서 상기 차선영역(33)이 미리 결정된 거리 이상 위치하는지 분석할 수 있으며 분석된 결과에 따라 상기 촬영단계(S210)는 상기 촬영부(210)는 회전시킬 수 있다. 구체적으로 상기 차선영역 이탈 분석단계(S230)가 복수개의 상기 차선영역(33)이 상기 영상(20) 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석하는 경우, 상기 촬영부(210)는 상기 차선영역(33)의 곡률 정도에 따라 회전될 수 있으며, 이로써, 복수개의 상기 차선영역(33)이 상기 영상(20) 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치될 수 있다.

상기 운전 지원 방법은 상기 차선영역 이탈 분석단계(S230)의 분석결과에 따라 상기 촬영부(210)의 회전을 제어하는 회전 제어단계(S240)을 포함하며, 상기 촬영부(210)는 상기 회전 제어단계(S240)의 제어를 통해 회전될 수 있다.

상기 촬영부(210)로부터 촬영되는 상기 영상(20) 중 상기 차선영역(33)이 미리 결정된 거리 이상 위치할 시, 즉, 상기 촬영부(210)의 화각이 상기 도로를 상기 미리 결정된 거리 이상 촬영할 수 있는 경우(도 19의 (a), 도 20의 (a)), 상기 촬영부(210)는 상기 자기 차량(1000)에서 회전하지 않아도 상기 도로의 영상(20)으로부터 상기 차선영역(33)을 충분한 영역 검출할 수 있다.

그러나 상기 촬영부(210)의 화각이 상기 도로를 미리 결정된 이상 촬영할 수 없는 경우(도 19의 (b), 도 20의 (b)), 상기 촬영부(210)는 상기 도로의 영상(20)을 상기 자기 차량(1000)으로부터 근거리의 영역까지만 촬영할 수 있다.

상기한 바와 같이 상기 차선영역 이탈 분석단계(S230)가 상기 차선영역(33)이 상기 영상(20) 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석하는 경우, 따라서, 상기 촬영부(210)가 상기 도로의 영상을 상기 자기 차량(1000)으로부터 근거리의 영역까지만 촬영할 수 있는 것으로 판단하는 경우, 상기 회전 제어단계(S240)는 상기 촬영부(210)를 상기 차선영역(33)의 곡률 정도에 따라 회전(도 19의 (b), 도 20의 (c))시킬 수 있다.

상기 곡률은 상기 차선영역 도출단계(S223)를 구성하는 상기 곡률 산출단계(S223-3)를 통해 산출된 값이며, 상기 촬영부(210)는 상기 곡률에 따라 회전함으로써, 상기 촬영부(210)의 화각 범위 내에서 촬영된 영상으로부터 상기 차선영역(33)이 미리 결정된 영역 이상 검출될 수 있다.

이상에서는 상기 차선영역(33)이 적용된 상기 영상(20) 내에서 상기 차선영역(33)이 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하는지 여부를 분석하여 분석된 결과에 따라 상기 촬영부(210)가 회전하는 것에 대해서 살펴보았다.

그러나 상기 차선영역 이탈 분석단계(S230)는 상기 영상내에 위치하는 상기 차선영역(33)이 위치하는 영역 정도를 통하여 상기 촬영부(210)의 회전근거를 제공하는 방식 외에, 상기 차선영역(33)의 곡률을 미리 결정된 기준곡률에 비교하여 비교된 결과에 따라 상기 촬영부(210)의 회전 근거를 제시할 수 도 있다.

구체적으로 상기 차선영역 이탈 분석단계(S230)는 상기 곡률을 미리 결정된 기준곡률과 비교하여 상기 곡률이 상기 기준곡률 이상일 경우, 복수개의 상기 차선영역(33)이 상기 영상(20) 내에서 상기 자기 차량(1000)으로부터 미리 결정된 거리 이상 위치하지 않는 것으로 분석할 수 있다.

여기서, 상기 기준곡률은 사전에 상기 운전 지원 방법이 적용된 차량(1000)의 상기 촬영부(210)를 통하여 얻은 상기 영상(20) 내에서 상기 차선영역(33)이 위치하는 정도에 따라 측정된 상기 곡률을 미리 측정한 값으로서, 상기 차선영역(33)의 곡률을 분석함과 동시에 상기 기준 곡률에 따라 상기 촬영부(210)의 회전 근거를 제시할 수 있으므로 상기 운전지원 방법에 더욱 빠른 상기 촬영부(210)의 회전 대응을 가능하게 할 수 있다.

또한 상기 촬영단계(S210)는 상기 자기 차량(1000) 운전자의 핸들 회전 방향에 따라 상기 자기 차량(1000)의 주행이 예상되는 도로의 영상(20)으로부터 검출된 복수개의 상기 차선영역(33)의 곡률 정도에 따라 상기 촬영부(210)를 회전시킬 수 있다.

구체적으로 상기 자기 차량(1000)이 주행하는 도로는 어느 한 지점에서 복수개의 도로로 분할될 수 있으며, 이 경우, 상기 자기 차량(1000)의 전방에 상기 도로의 분할지점이 상기 촬영부(210)를 통해 촬영될 시, 상기 촬영부(210)는 복수개의 분할된 상기 도로 중 어느 하나의 도로의 곡률을 따라 회전해야 된다.

이 경우, 상기 촬영단계(S210)는 상기 자기 차량(1000)의 주행 예상방향, 즉, 상기 핸들이 유지되거나 회전되는 정도에 따라 복수개의 상기 도로 중 상기 핸들의 회전이 지향하는 방향으로 연장된 하나의 상기 도로 방향으로 상기 촬영부(210)를 회전시킬 수 있으며, 따라서, 상기 촬영부(210)는 상기 자기 차량(1000)의 운전자의 주행의도에 부합하여 회전될 수 있다.

상술한 바에 따른 상기 운전 지원 방법은, 상기 도로의 곡률에 따라 회전하는 상기 촬영부(210)를 포함함으로써, 상기 도로의 형상에 관계없이 상기 도로의 영상(20)을 촬영할 수 있으므로, 상기 자기 차량(1000)의 정상적인 주행경로의 유지의 기본이 되는 상기 차선영역(33)의 정보를 제공할 수 있으며, 또한, 상기 영상으로부터 도출될 수 있는 상기 도로상 보행자나, 낙석과 같은 장애물이나, 다른 차량(1000)과 같은 다양한 목표객체의 정보를 제공함으로써, 상기 자기 차량(1000)의 주행 안정성 및 유연성에 일조할 수 있다.

일 예로서, 상기 운전 지원 방법은 상기 자기 차량(1000) 주변, 즉, 상기 자기 차량(1000)의 주행경로 중 상기 목표객체를 인식하여 상기 목표객체에 대응하여 상기 자기 차량(1000)의 운전을 지원할 수 있다.

구체적으로, 상기 운전 지원 방법은 상기 자기 차량(1000) 주변의 목표객체를 인식하는 목표객체 인식단계(S250), 상기 자기 차량(1000)과 상기 목표객체와의 거리를 분석하는 목표객체 분석단계(S260) 및 상기 목표객체 분석단계(S260)의 분석결과에 따라 상기 자기 차량(1000)의 운전을 지원하는 운전 지원단계(S270)를 포함할 수 있다.

상기 목표객체 인식단계(S250)는 상기 촬영부(210)로부터 제공된 상기 영상(20)을 통하여 인식될 수 있는데, 상술한 바와 같이 상기 촬영부(210)에 포함된 상기 가시광선 카메라 모듈(221), 상기 적외선 카메라 모듈(222) 및 상기 열화상 카메라 모듈(223)로부터 촬영된 영상정보를 통하여 인식될 수 있다.

이 경우, 상기 목표객체 분석단계(S260)는 상기 촬영부(210)로부터 제공된 상기 영상(20)이 상기 이진화 영상 생성단계(S221)를 통해 이진화된 상기 이진화 영상(30)을 통해 인식될 수 있으며, 상기 영상(20) 자체로부터 상기 촬영단계(S210)를 통해 촬영된 영상 내의 피사체로부터 상기 목표 객체를 바로 인식할 수 도 있다. 또한, 목표 객체 분석단계는 상기 촬영부(210) 또는 상기 자기 차량(1000)에 추가적으로 구비될 수 있는 초음파 센서(미도시)를 통해서도 인식될 수 있다.

이와 같이, 상기 목표객체 분석단계(S260)는 다양한 방식을 통하여 상기 목표 객체를 인식할 수 있으므로, 상기 목표객체 분석단계(S260)가 상기 목표객체를 인식하는 다양한 방식들의 구체적인 설명은 논외로 할 수 있다.

상기 목표객체 분석단계(S260)는 상기 자기 차량(1000) 및 상기 목표객체와의 거리를 분석할 수 있는데 이 경우, 상술한 바 있듯이, 상기 촬영부(210)는 복수개의 상기 카메라 모듈을 포함하여 구성된 스테레오(stereo) 카메라 방식을 채택하고 있으므로, 상기 촬영부(210)는 상기 촬영부(210)로부터 촬영된 영상(20) 내의 피사체와 상기 자기 차량(1000)간의 상대거리값을 제공하므로, 상기 목표객체 분석단계(S260)는 상기 촬영부(210)로부터 제공된 상대거리값을 통해 상기 자기 차량(1000) 및 상기 목표객체와의 상대거리를 분석할 수 있다.

상기 자기 차량(1000)은 상기 목표객체와 일정거리를 유지하면서 주행해야 할 필요성이 있다. 만약 상기 자기 차량(1000) 및 상기 목표객체와의 거리가 매우 근접할 경우, 상기 자기 차량(1000)은 상기 목표 객체와 충돌할 가능성이 높아질 수 있으므로 상기 자기 차량(1000)은 상기 목표객체와의 충돌을 회피할 수 있는 거리인 안전거리 이상의 거리를 유지하면서 주행해야 한다.

여기서, 상기 안전거리는 상기 자기 차량(1000)의 속도 및 상기 자기 차량(1000)과 상기 목표 객체와의 상대거리를 토대로 상기 자기 차량(1000)이 주행 중 상기 목표객체와의 충돌을 회피할 수 있는 최소한의 거리일 수 있다.

따라서, 상기 목표 객체 분석단계가 상기 자기 차량(1000)이 상기 목표 객체와 상기 안전거리 미만의 거리로 근접한 것으로 분석하는 경우, 상기 운전 지원단계(S270)에 포함된 긴급 제동단계(S271)는 상기 자기 차량(1000)의 긴급 제동을 지원하여 상기 자기 차량(1000)이 상기 목표 객체와 충돌하는 것을 방지할 수 있다.

상기 운전 지원단계(S270)의 지원에 따른 상기 자기 차량(1000)의 긴급제동은 도 13을 통해 설명할 수 있다.

도 13에는 앞선 발명에서 설명한 순항 지원부(163)를 설명하기 위해 참조되었던 도면이나, 이하의 상기 자기 차량(1000)의 긴급 제동에 관한 설명에서는 도 13에 도시된 순항 지원부(163) 및 상기 순항 지원부(163)의 도면부호는 긴급 제동부(271) 및 상기 긴급 제동부(271)의 도면부호로 이해될 수 있으며, 상기 가속페달(p)의 도면부호는 브레이크 페달(p)의 도면부호와 혼용되어 사용되는 것으로 이해될 수 있다.

도 13을 참조하면, 상기 브레이크 페달(p)은 상기 차량(1000)의 속도를 감소시키거나 제동시키기 위한 상기 자기 차량(1000)의 필수적인 구성으로서, 평상시에는 상기 자기 차량(1000)의 운전자에 의해 눌려져서 기능하게 된다.

그러나, 본 발명에 따른 운전 지원 방법에서는, 상기 목표객체 분석단계(S260)가 상기 자기 차량(1000)이 상기 목표객체와 상기 안전거리 미만의 거리로 근접한 것으로 분석하는 경우, 상기 브레이크 페달(p)은 상기 긴급 제동단계(S271)에서 상기 긴급 제동부(271)를 통해 자동으로 눌려질 수 있다.

구체적으로, 상기 긴급 제동부(271)는 상기 솔레노이드(1210)의 전원을 인가시켜 상기 솔레노이드(1210)가 에어펌프(1220)로부터 압축공기를 실린더(1230)에 전달하도록 할 수 있으며, 상기 압축공기를 공급받은 상기 실린더(1230)는 상기 실린더(1230)의 내부에 위치하여 상하로 구동하는 피스톤 로드(1240)를 상기 실린더(1230) 외부로 돌출시켜 상기 브레이크 페달(p)을 누름으로써, 상기 차량(1000)의 긴급 제동을 가능하게 한다.

상술한 바와 같이 상기 운전 지원단계(S270)는 주행중인 상기 목표객체와 상기 안전거리 미만의 거리로 근접하는 경우 상기 자기 차량(1000)의 긴급 제동을 지원하여 상기 자기 차량(1000)과 상기 목표객체와의 충돌을 방지할 수 있다.

그러나, 상기 운전 지원단계(S270)는 상기 차량(1000)의 주행 중, 상기 자기 차량(1000)이 상기 목표객체에 충돌할 가능성이 높아지는 것과 같이 상기 자기 차량(1000)의 주행에 문제가 발생할 경우, 이에 대처하는 기능을 지원할 뿐만 아니라, 상기 자기 차량(1000)이 정상적인 주행을 영위하고 있는 중에도 상기 차량(1000)의 주행을 지원할 수 있다.

다시 앞선 발명에서의 도 13 및 도 14를 참조하면, 상기 목표 객체 분석단계가 상기 자기 차량(1000)이 상기 목표 객체와 상기 안전거리 이상을 유지하는 것으로 분석하는 경우, 상기 운전 지원단계(S270)에 포함된 순항 지원단계(S272)는 상기 자기 차량(1000)의 순행 주행을 제어하는 순항 지원부(272)를 제어하여 상기 자기 차량(1000)의 가속 페달이 자동으로 눌려지게 제어함으로써, 상기 자기 차량(1000)의 정속주행 또는 가속주행을 지원할 수 있다.

상기 가속페달(p)은 상기 차량(1000)의 가솔린과 공기의 양을 조절하여 상기 자기 차량(1000) 기관의 회전을 빠르게 하여, 상기 자기 차량(1000)을 가속 전진 가능하게 하는 구성으로써, 평상시에는 상기 자기 차량(1000)의 운전자에 의해 눌려져서 기능하게 된다.

그러나 본 발명에 따른 운전 지원 방법에서는, 상기 목표 객체 분석단계(S260)가 상기 자기 차량(1000)이 상기 목표 객체와 상기 안전거리 이상의 거리를 유지하는 것으로 분석하는 경우, 상기 순항 지원단계(S272)는 상기 차량(1000)의 정속주행 또는 가속주행이 가능하도록 상기 가속페달이 자동으로 눌려지게 제어할 수 있다.

도 13를 참조하면, 상기 목표객체 분석단계가 상기 자기 차량(1000)이 상기 목표객체와 상기 안전거리 이상의 거리를 유지하는 것으로 분석하는 경우, 상기 순항 지원단계(S272)는 상기 순항 지원부(272)를 통해 솔레노이드(1210)의 전원을 인가시켜 상기 솔레노이드(1210)가 에어 펌프(1220)로부터 압축공기를 실린더(1230)에 전달하도록 할 수 있다. 이어서, 상기 압축공기를 공급받은 상기 실린더(1230)는 상기 실린더(1230)의 내부에 위치하여 상하로 구동하는 피스톤 로드(1240)를 상기 실린더(1230) 외부로 돌출시켜 상기 가속페달을 누름으로써, 상기 자기 차량(1000)의 정속주행 또는 가속주행을 가능하게 한다.

상기 순항 지원단계(S272)의 지원에 따른 상기 자기 차량(1000)의 정속주행 또는 가속주행은 상기 피스톤 로드(1240)의 돌출되는 정도에 의한 상기 가속 페달(p)이 눌려지는 정도에 따라 결정될 수 있다.

상기 솔레노이드(1210)는, 상기 순항 지원단계(S272)의 지원에 따른 상기 가속페달(p)의 제어를 차단할 수 있는 비상 해제 스위치(1290)와 연결될 수 있다.

도 14를 참조하면, 상기 비상 해제 스위치(1290)가 작동하여 상기 솔레노이드(1210)의 전원이 차단되어 상기 솔레노이드(1210)가 상기 에어 펌프(1220)로부터 압축공기를 상기 실린더(1230)에 전달하지 못해 상기 실린더(1230) 내부에 위치하는 상기 피스톤 로드(1240)가 상기 실린더(1230) 내부로 다시 삽입되는 것을 볼 수 있으며, 따라서, 상기 비상 해제 스위치(1290)가 작동할 시, 상기 가속 페달(p)을 누르는 상기 피스톤 로드(1240)는 상기 실린더(1230)의 내부로 삽입되므로 상기 가속 페달(p)은 상기 운전 지원단계(S270)의 지원이 차단된 완벽한 수동모드로 전환될 수 있다.

따라서 상기 자기 차량(1000)의 운전자는 상기 순항 지원단계(S272)의 운전 지원을 선택적으로 상기 차량(1000)에 적용시킬 수 있으므로, 더욱 유연한 상기 차량(1000)의 운영을 가능하게 할 수 있으며, 또한, 상기 순항 지원단계(S272)가 이상 작동을 하여 상기 자기 차량(1000)의 주행에 있어 위험 요소를 발생시킬 시, 상기 자기 차량(1000)을 신속하게 수동 주행모드로 전환할 수 있으므로, 운전자는 상기 자기 차량(1000)을 더욱 안전하게 운영할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110 : 촬영부 120 : 이진화 영상 생성부
130 : 이진화 영상 필터링부 140 : 차선영역 도출부
150 : 차선영역 이탈 분석부 160 : 운전 지원부

Claims (52)

1. 주행 중 또는 주정차 중인 차량의 주변을 촬영하고, 촬영된 영상에 따라 상기 차량의 운전을 지원하는 운전 지원 시스템에 있어서,
   상기 차량에 장착되어 상기 차량 주변의 영상을 촬영하는 적어도 하나의 촬영부;
   상기 영상 중 차선 후보영역을 백색으로 나타내고, 상기 차선 후보영역 외의 배경영역을 흑색으로 나타내도록 상기 영상을 이진화하여 이진화 영상을 생성하는 이진화 영상 생성부;
   상기 차선 후보영역 내부에 위치하는 상기 배경영역을 백색화하고, 상기 차선 후보영역 중 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하여 상기 이진화 영상에서 상기 차량 주변의 차선에 대응되는 차선 구성영역을 결정하는 이진화 영상 필터링부;
   서로 인접한 상기 차선 구성영역을 곡률이 최소화되게 연결하여 복수개의 차선영역을 도출하는 차선영역 도출부; 및
   상기 차량 및 복수개의 상기 차선영역간의 상대거리를 판단하고, 상기 차량이 상기 차량과 인접한 상기 차선과 접촉하는지 분석하는 차선영역 이탈 분석부;를 구비하며,
   상기 이진화 영상 생성부는,
   복수개의 상기 촬영부를 통해 촬영된 영상들을 조합하여 파노라마 영상을 생성하는 파노라마 영상 생성부;
   상기 파노라마 영상을 스트레칭하여 상기 파노라마 영상의 콘트라스트(contrast)를 향상시키는 스트레칭부; 및
   상기 콘트라스트가 향상된 상기 파노라마 영상을 복수의 단위 영역으로 구분하고, 구분된 상기 단위 영역 별로 이진화 처리하여 상기 이진화 영상을 생성하는 이진화 처리부;를 포함하고,
   상기 이진화 영상 필터링부는,
   상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하는 배경영역 필터링부;
   상기 차선 후보영역들 중 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하는 차선 후보영역 필터링부; 및
   상기 차선 후보영역을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역을 삭제하여 상기 차선 구성영역을 결정하는 차선 구성영역 결정부;를 포함하며,
   상기 차선영역 도출부는,
   복수개의 상기 차선 구성영역상에 복수개의 좌표를 설정하는 좌표 설정부;
   서로 인접한 상기 좌표를 연결하여 복수개의 가상선을 형성하는 가상선 형성부;
   복수개의 상기 가상선 각각의 곡률을 산출하는 곡률 산출부; 및
   복수개의 상기 가상선 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선을 상기 차선영역으로 결정하는 차선영역 결정부;를 포함하는 것을 특징으로 하는 운전 지원 시스템.
2. 제1항에 있어서,
   적어도 하나의 상기 촬영부는 상기 차량 주변의 모든 방향을 향하여 굴곡진 형상을 갖는 측면을 포함하며, 상기 측면에 상기 차량 주변의 영상을 촬영하는 복수개의 카메라 모듈을 포함하는 것을 특징으로 하는 운전 지원 시스템.
3. 제2항에 있어서,
   적어도 하나의 상기 촬영부는 적어도 하나의 가시광선 카메라 모듈 또는 적외선 카메라 모듈을 포함하는 것을 특징으로 하는 운전 지원 시스템.
4. 삭제
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 운전 지원 시스템은 상기 차선영역 이탈 분석부의 분석 결과에 따라 상기 차량의 운전을 지원하는 운전 지원부를 더 포함하는 것을 특징으로 하는 운전 지원 시스템.
8. 제7항에 있어서,
   상기 차선영역 이탈 분석부가 상기 차량이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 운전 지원부는 상기 차량이 상기 차선과 접촉하지 않도록 상기 차량의 주행 방향 변경을 지원하는 것을 특징으로 하는 운전 지원 시스템.
9. 제7항에 있어서,
   상기 차선영역 이탈 분석부가 상기 차량이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 운전 지원부는 상기 차량의 운전자에게 차선 이탈 경보를 제공하는 것을 특징으로 하는 운전 지원 시스템.
10. 제7항에 있어서,
    상기 차선영역 이탈 분석부가 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선과 접촉하지 않는 것으로 분석하는 경우, 상기 운전 지원부는 상기 차량의 정속주행 또는 가속주행을 지원하는 것을 특징으로 하는 운전 지원 시스템.
11. 주행중 또는 주정차중인 차량의 주변을 촬영하고, 촬영된 영상에 따라 상기 차량의 운전을 지원하는 운전 지원 방법에 있어서,
    상기 차량에 장착된 적어도 하나의 촬영부를 통해 상기 차량 주변의 영상을 촬영하는 촬영단계;
    상기 영상 중 차선 후보영역을 백색으로 나타내고, 상기 차선 후보영역 외의 배경영역을 흑색으로 나타내도록 상기 영상을 이진화하여 이진화 영상을 생성하는 이진화 영상 생성단계;
    상기 차선 후보영역 내부에 위치하는 상기 배경영역을 백색화하고, 상기 차선 후보영역 중 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하여 상기 이진화 영상 중 상기 차량 주변의 차선에 대응되는 영역인 복수개의 차선 구성영역을 결정하는 이진화 영상 필터링단계;
    서로 인접한 상기 차선 구성영역을 곡률이 최소화되게 연결하여 복수개의 차선영역을 도출하는 차선영역 도출단계; 및
    상기 차량 및 복수개의 상기 차선영역간의 상대거리를 판단하여, 상기 차량이 상기 차량과 인접한 상기 차선과 접촉하는지 분석하는 차선영역 이탈 분석단계;를 구비하며,
    상기 이진화 영상 생성단계는,
    복수개의 상기 촬영부를 통해 촬영된 영상들을 조합하여 파노라마 영상을 생성하는 파노라마 영상 생성단계;
    상기 파노라마 영상을 스트레칭하여 상기 파노라마 영상의 콘트라스트(contrast)를 향상시키는 스트레칭단계; 및
    상기 콘트라스트가 향상된 상기 파노라마 영상을 복수의 단위 영역으로 구분하고, 구분된 상기 단위 영역별로 이진화 처리하여 상기 이진화 영상을 생성하는 이진화 처리단계;를 포함하고,
    상기 이진화 영상 필터링단계는,
    상기 차선 후보영역 내부에 미리 결정된 면적 이하의 상기 배경영역을 백색화하는 배경영역 필터링단계;
    상기 차선 후보영역들 중 미리 결정된 면적 이하의 상기 차선 후보영역을 삭제하는 차선 후보영역 필터링단계; 및
    상기 차선 후보영역을 둘러싸는 가상의 직사각형의 긴 변의 길이 대비 짧은 변의 길이 비율이 미리 결정된 비율을 초과하는 상기 가상의 직사각형에 포함되는 상기 차선 후보영역을 삭제하여 상기 차선 구성영역을 결정하는 차선 구성영역 결정단계;를 포함하며,
    상기 차선영역 도출단계는,
    복수개의 상기 차선 구성영역상에 복수개의 좌표를 설정하는 좌표 설정단계;
    서로 인접한 상기 좌표를 연결하여 복수개의 가상선을 형성하는 가상선 형성단계;
    복수개의 상기 가상선 각각의 곡률을 산출하는 곡률 산출단계; 및
    복수개의 상기 가상선 중 최소 곡률로 형성되며 동일한 곡률로 나란히 형성되는 복수개의 상기 가상선을 상기 차선영역으로 결정하는 차선영역 결정단계;를 포함하는 것을 특징으로 하는 운전 지원 방법.
12. 제11항에 있어서,
    적어도 하나의 상기 촬영부는 상기 차량 주변의 모든 방향을 향하여 굴곡진 형상을 갖는 측면을 포함하며, 상기 측면에 상기 차량 주변의 영상을 촬영하는 복수개의 카메라 모듈을 포함하는 것을 특징으로 하는 운전 지원 방법.
13. 제12항에 있어서,
    적어도 하나의 상기 촬영부는 적어도 하나의 가시광선 카메라 모듈 또는 적외선 카메라 모듈을 포함하는 것을 특징으로 하는 운전 지원 방법.
14. 삭제
15. 삭제
16. 삭제
17. 제11항에 있어서,
    상기 차선영역 이탈 분석단계의 분석 결과에 따라 상기 차량의 운전을 지원하는 운전 지원단계를 더 포함하는 것을 특징으로 하는 운전 지원 방법.
18. 제17항에 있어서,
    상기 차선영역 이탈 분석단계에서 상기 차량이 상기 차선과 접촉하는 것으로 분석되는 경우, 상기 운전 지원단계는 상기 차량이 상기 차선과 접촉하지 않도록 상기 차량의 주행 방향 변경을 지원하는 것을 특징으로 하는 운전 지원 방법.
19. 제17항에 있어서,
    상기 차선영역 이탈 분석단계에서 상기 차량이 상기 차선과 접촉하는 것으로 분석되는 경우, 상기 운전 지원단계는 상기 차량의 운전자에게 차선 이탈 경보를 제공하는 것을 특징으로 하는 운전 지원 방법.
20. 제17항에 있어서,
    상기 차선영역 이탈 분석단계에서 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선과 접촉하지 않는 것으로 분석되는 경우, 상기 운전 지원단계는 상기 차량의 정속주행 또는 가속주행을 지원하는 것을 특징으로 하는 운전 지원 방법.
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 제8항에 있어서,
    상기 운전지원부는,
    상기 차량이 상기 차선과 접촉하지 않도록 상기 차량의 주행 방향을 조정하는 조향 제어부; 및
    상기 차선영역 이탈 분석부에서 상기 차량이 상기 차선과 접촉하는 것으로 분석한 경우, 상기 차량의 주행방향이 정상적인 경로로 변경되도록 상기 조향 제어부를 제어하는 주행 조향 지원부; 를 포함하며,
    상기 조향 제어부는,
    상기 차량의 스티어링 휠 샤프트에 회전 구동력을 제공하는 모터;
    상기 주행 조향 지원부의 제어에 따라 상기 모터의 구동을 제어하는 조향 컨트롤러;
    상기 모터의 회전축에 구비되어 상기 회전축과 함께 회전하는 제1 기어;
    상기 스티어링 휠 샤프트에 배치되는 제2 기어; 및
    상기 제1 기어 및 상기 제2 기어와 연결되어 상기 제1 기어의 회전력을 상기 제2 기어에 전달하는 밸트 기어; 를 갖는 것을 특징으로 하는 운전 지원 시스템.
50. 제10항에 있어서,
    상기 운전지원부는,
    상기 차량의 정속주행 또는 가속주행이 가능하도록 상기 차량의 가속페달을 누르는 순항 제어부; 및
    상기 차선영역 이탈 분석부가 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선과 접촉하지 않는 것으로 분석하는 경우, 상기 정속주행 또는 가속주행하도록 상기 순항 제어부를 제어하는 순항 지원부; 를 포함하며,
    상기 순항 제어부는,
    피스톤 로드를 가지며, 상기 피스톤 로드를 상기 차량의 상기 가속페달 상에서 상기 가속페달을 향하여 하강하여 상기 가속페달을 누르는 실린더;
    상기 피스톤 로드가 상하로 움직일 수 있도록 상기 실린더에 압축공기를 제공하는 에어펌프; 및
    상기 에어펌프에서 상기 실린더로 상기 압축공기가 흐르도록 하거나 차단하는 솔레노이드; 를 갖는 것을 특징으로 하는 운전 지원 시스템.
51. 제18항에 있어서,
    상기 운전 지원단계는 상기 차량의 주행방향을 제어하는 주행 조향 지원단계를 포함하고,
    상기 주행 조향 지원단계는, 상기 차선영역 이탈 분석단계에서 상기 차량이 상기 차선과 접촉하는 것으로 분석하는 경우, 상기 차량의 조향 제어부를 통하여 상기 차량이 상기 차선과 접촉하지 않도록 상기 차량의 주행 방향을 조정하며,
    상기 조향 제어부는,
    상기 차량의 스티어링 휠 샤프트에 회전 구동력을 제공하는 모터;
    주행 조향 지원부의 제어에 따라 상기 모터의 구동을 제어하는 조향 컨트롤러;
    상기 모터의 회전축에 구비되어 상기 회전축과 함께 회전하는 제1 기어;
    상기 스티어링 휠 샤프트에 배치되는 제2 기어; 및
    상기 제1 기어 및 상기 제2 기어와 연결되어 상기 제1 기어의 회전력을 상기 제2 기어에 전달하는 밸트 기어; 를 포함하는 것을 특징으로 하는 운전 지원 방법.
52. 제20항에 있어서,
    상기 운전 지원단계는 상기 차량의 정속주행 또는 가속주행이 가능하도록 상기 차량의 가속페달을 누르는 순항 지원단계를 포함하고,
    상기 순항 지원단계는, 상기 차선영역 이탈 분석단계에서 상기 차량이 상기 차량과 인접한 한 쌍의 상기 차선과 접촉하지 않는 것으로 분석하는 경우, 상기 차량의 순항 제어부를 통하여 상기 가속페달을 가압하여 상기 차량이 상기 정속주행 또는 가속주행하도록 하며,
    상기 순항 제어부는,
    피스톤 로드를 가지며, 상기 피스톤 로드를 상기 차량의 상기 가속페달 상에서 상기 가속페달을 향하여 하강하여 상기 가속페달을 누르는 실린더;
    상기 피스톤 로드가 상하로 움직일 수 있도록 상기 실린더에 압축공기를 제공하는 에어펌프; 및
    상기 에어펌프에서 상기 실린더로 상기 압축공기가 흐르도록 하거나 차단하는 솔레노이드; 를 갖는 것을 특징으로 하는 운전 지원 방법.

Images