KR20120094566A - 자동 주행 차량시스템 - Google Patents

자동 주행 차량시스템 Download PDF

Info

Publication number
KR20120094566A
KR20120094566A KR1020110013902A KR20110013902A KR20120094566A KR 20120094566 A KR20120094566 A KR 20120094566A KR 1020110013902 A KR1020110013902 A KR 1020110013902A KR 20110013902 A KR20110013902 A KR 20110013902A KR 20120094566 A KR20120094566 A KR 20120094566A
Authority
KR
South Korea
Prior art keywords
contrast
saturation
color
image
brightness
Prior art date
Application number
KR1020110013902A
Other languages
English (en)
Inventor
도양회
최경현
김형찬
김동언
박순영
정효균
Original Assignee
제주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제주대학교 산학협력단 filed Critical 제주대학교 산학협력단
Priority to KR1020110013902A priority Critical patent/KR20120094566A/ko
Publication of KR20120094566A publication Critical patent/KR20120094566A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 자동 주행 차량시스템은 구동부와 조향부를 구비하는 차량 본체, 차량 본체에 장착되고, 도로 영상을 촬상하여 영상 데이타로 출력하는 영상입력부, 영상입력부에서 출력되는 영상 데이타로부터 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들을 검출하고, 검출된 색상대비, 채도대비 및 명도대비 부분들 중 적어도 하나를 사용하여 차량의 진행경로를 추정하는 영상처리부, 및 영상처리부에서 출력된 차량 진행경로 추정 데이타를 토대로 구동부와 조향부를 제어하여 차량 본체를 주행시키는 메인제어부를 포함하는 것을 특징으로 한다.

Description

자동 주행 차량시스템{Automatic traveling vehicle system}
본 발명은 운전자가 차량의 주행에 신경을 쓸 필요 없이 차량을 목적지까지 자동으로 주행할 수 있게 하는 자동 주행 차량시스템에 관한 것으로, 보다 상세하게는 입력된 영상으로부터 주행 경로를 자동으로 추정하여 추정된 경로에 따라 차량을 자동으로 주행할 수 있게 하는 자동 주행 차량시스템에 관한 것이다.
현재, 차량의 주행을 위해 일반적으로 사용되는 차량의 위치정보 시스템은 GPS수신기를 이용한 차량 운행 항법시스템이다. 이 차량운행 항법시스템은 적어도 3 대의 통신위성과 통신하여 각각의 위성과의 통신거리, 통신시간 등을 계산함으로서 차량의 현재 위치를 파악하고, 이와 같이 파악된 차량의 현재 위치를 데이터베이스에 저장된 전자지도에 표시하여 액정화면을 통해 디스플레이한다. 차량 운전자는 액정화면을 통해 디스플레이되는 위치정보를 참고하여 자신이 목적하는 위치로 차량을 운행한다.
하지만, 이러한 차량운행 항법시스템은 휴대용 장치로 구성하여 간단하게
차량의 현재 위치를 파악할 수 있는 장점이 있으나, 차량의 운행을 위하여서 반드시 운전자가 운전하여야만 하는 단점이 있다.
따라서, 최근에는 차량 운전자의 편의성과 교통사고 예방에 대한 요구가 증가함에 따라, 차량 운전자가 차량의 주행에 신경을 쓸 필요 없이 차량을 목적지까지 자동으로 주행할 수 있게 하는 자동 주행 차량에 대한 관심이 높아지고 있다.
이러한 자동 주행 차량은 인간의 지능과 같이 도로의 차선, 장애물 등을 정확하게 판단하고, 이에 따라 정확한 주행 경로를 추정하여 차량의 조향 및 구동을 제어하는 것이 중요하다. 이를 위해 최근에는 차량에 CCD 카메라를 탑재하고 CCD 카메라를 통해 입력된 영상을 처리하여 필요한 주행경로를 획득할 수 있게 하는 연구가 활발하게 이루어지고 있다.
CCD 카메라로부터 입력된 영상신호를 처리하여 조향각과 같은 주행 경로를 추정하는 한 방법으로는 이미 무인 차량의 차선 검출방법으로 응용되고 있는 방법인 명도에 의한 차선 검출방법이 알려져 있다.
명도에 의한 차선 검출방법은 도로의 노면과 차선의 명도가 다르게 인식된다는 것을 이용하여 영상신호의 명도를 비교하여 차선을 인식하고, 가상의 기준선과의 거리를 평가하여 그 오차를 계속 보정하도록 조향각을 제어한다.
이러한 차선 검출방법은 명도 하나만을 사용하여 차선을 검출하므로, 차선의 구분이 명확한 도로 상황에서는 상대적으로 빠른 검출능력을 나타내는 장점을 가지지만, 노면이 잘 정리되지 않았거나 차선의 구분이 명확하지 않는 도로, 차선 이외의 다른 장애물 등을 검출하는 데는 인식능력이 떨어지는 문제점이 있다. 따라서, 다양한 도로 상황이나 장애물에 대해서도 인식능력이 우수한 영상처리능력을 가지는 자동 주행 차량시스템의 개발이 요구되고 있다.
본 발명은 상술한 바와 같은 종래의 문제점을 감안하여 이를 개선하고자 창출된 것으로, 본 발명의 목적은 다양한 도로 상황이나 장애물에 대해서도 인식능력이 우수한 영상처리능력을 가지는 자동 주행 차량시스템을 제공하는 데 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시양태에 따른 자동주행 차량시스템은, 구동부와 조향부를 구비하는 차량 본체, 차량 본체에 장착되고, 도로 영상을 촬상하여 영상 데이타로 출력하는 영상입력부, 영상입력부에서 출력되는 영상 데이타로부터 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들을 검출하고, 검출된 색상대비, 채도대비 및 명도대비 부분들 중 적어도 하나를 사용하여 차량의 진행경로를 추정하는 영상처리부, 및 영상처리부에서 출력된 차량 진행경로 추정 데이타를 토대로 구동부와 조향부를 제어하여 차량 본체를 주행시키는 메인제어부를 포함하는 것을 특징으로 한다.
여기서, 영상입력부는 차량 본체에 설치되어 도로 영상을 촬상하는 적어도 한 개의 CCD 카메라를 포함할 수 있다.
가장 명확한 차이가 나는 색상대비 부분, 채도대비 부분, 및 명도대비 부분의 각각은 도로의 차선 또는 장애물을 포함할 수 있다.
영상처리부는 영상 데이타로부터 가장 명확한 차이가 나는 색상대비 부분을 검출하는 색상모듈, 영상 데이타로부터 가장 명확한 차이가 나는 채도대비 부분을 검출하는 채도모듈, 및 영상 데이타로부터 가장 명확한 차이가 나는 명도대비 부분을 검출하는 명도모듈을 포함할 수 있다. 이때, 색상모듈, 채도모듈, 및 명도모듈은 각각, 영상 데이타를 HSV(Hue Saturation Value) 칼라 모델로 변환하는 것에 의해 얻어진 색상값, 채도값 및 명도값을 사용하여 가장 명확한 차이가 나는 색상대비 부분, 채도대비 부분 및 명도대비 부분들을 검출하는 것이 바람직하다.
또한, 영상처리부는 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들 중에서 다시 가장 큰 차이가 나는 한 개의 대비 부분을 검출하고, 검출된 대비 부분을 사용하여 차량의 진행경로를 추정하는 것이 바람직하다. 선택적으로, 영상처리부는 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들 중에서 적어도 두 가지 이상을 합성하여 차량의 진행경로를 추정할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 자동 주행 차량시스템은 촬상된 노면 영상의 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들의 데이타를 비교하여 그 중에서, 다시 가장 큰 차이가 나는 한 개의 대비 부분을 사용하거나 적어도 두 개 이상의 가장 명확한 차이가 나는 대비부분을 사용하여 차량의 진행경로를 추정하는 영상처리부를 구비함으로서, 다양한 도로 상황이나 장애물에 대해서도 한 가지의 영상처리 방법만 사용하는 종래의 무인 주행 차량 보다 효율적이고 완벽한 주행제어가 가능하다.
도 1은 본 발명의 일 실시예에 따른 자동 주행 차량시스템을 개략적으로 예시하는 블록도,
도 2a 및 도 2b는 도 1에 도시된 자동 주행 차량시스템의 영상처리부에 사용되는 HSV 칼라 모델을 나타내는 색상표와 좌표계를 각각 예시하는 도면,
도 3a 내지 도 3e는 도 1에 자동 주행 차량시스템의 영상처리부의 동작을 예시하기 위해, RGB 형태의 영상을 나타내는 노면 사진, 색상대비 의해 검출된 노면과 차선 영상, 명도 대비(그래이 효과)에 의해 검출된 차선 영상, 채도 대비에 의해 검출된 차선 영상, 및 앞의 색상대비, 명도 대비 및 채도 대비에 의해 검출된 3 개의 영상을 합성한 노면과 차선 영상을 각각 예시하는 도면, 및
도 4은 도 1에 도시된 자동 주행 차량시스템의 자동 주행방법을 예시하는 플로우챠트이다.
<도면의 주요부분에 대한 부호의 설명>
1: 자동 주행 차량시스템 5: 차량 본체
7: 영상입력부 9: 영상처리부
11: 색상 모듈 13: 채도 모듈
15: 명도 모듈 17: 메인제어부
이하, 본 발명의 실시예에 따른 자동 주행 차량시스템을 첨부도면에 관하여 상세히 설명하면 다음과 같다.
먼저, 도 1을 참조하면, 본 발명의 일 실시예에 따른 자동주행 차량시스템(1)이 예시되어 있다. 자동 주행 차량시스템(1)은 예를들면, 전기에 의해 구동되는 전기 자동차로서, 차량 본체(5), 영상입력부(7), 영상처리부(image processor)(9), 및 메인제어부(main processor)(19)를 포함한다.
차량 본체(5)는 조향부와 구동부(도시하지 않음)를 탑재하고 있다. 조향부는 차량 본체(5)의 조향각 제어장치로서 서보 모터(21)에 의해 앞 바퀴의 조향 각도를 조절하도록 구동되는 동력전달 기구로 구성된다. 서보 모터(21)는 메인제어부(19)로부터 출력되는 PWM 신호에 의해 회전속도와 회전량을 조절하도록 제어된다. 구동부는 차량 본체(5)의 가감속 및 제동력 제어장치로서 DC 모터(25)에 의해 뒷 바퀴를 구동하도록 제어되는 동력전달 기구로 구성된다. DC 모터(25)는 메인제어부(19)에 의해 제어되는 모터 드라이버(23)로부터 출력되는 PWM 신호에 의해 회전속도를 조절하도록 제어된다. 여기서, 조향부와 구동부는 이 기술분야에 공지된 구성과 동일하므로 더 이상의 상세한 설명은 생략한다.
영상입력부(7)는 도로 영상을 촬상하여 RGB 형태의 영상 데이타로 출력하는 것으로, 차량 본체(5)에 전방에 장착된다. 영상입력부(7)는 노면과 전방의 영상을 촬상하여 전기적인 영상신호로 변환하는 한 개의 CCD 카메라일 수 있다. 본 실시예에서 영상입력부(7)는 한 개의 CCD 카메라인 것으로 예시하였지만, 필요에 따라 전방뿐 아나라 좌측, 우측 또는 후방에 설치되는 2 개의 이상의 CCD 카메라로 구성될 수 있다.
영상처리부(9)는 영상입력부(7)에서 출력되는 RGB 형태의 영상 데이타를 HSI(Hue Saturation Luminosity) 또는 HSV(Hue Saturation Value or Brightness) 칼라 모델로 변환하여 변환된 영상 데이타의 색상, 채도 및 명도를 비교하여 각각의 색상대비, 채도대비 및 명도대비 중 가장 차이가 나는 대비 부분의 데이타, 예를를면, 16비트의 데이타를 출력한다.
이를 위해, 영상처리부(9)는 색상모듈(11), 채도모듈(13), 명도모듈(15), 및 영상처리 마이크로 콘트롤러 유닛(micro controller unit; MCU)(10)을 포함한다.
색상모듈(11)은 영상입력부(7)에서부터 영상처리 마이크로 콘트롤러 유닛(10)을 통해 입력되는 RGB 형태의 영상 데이타(예를들면, 도 3a의 노면사진)를 다음 식(1)에 의해 색상값(H)을 구하고, 구해진 영상 데이타의 색상값을 비교하여, 예를들면, 도로의 차선 및/또는 장애물과 같은 가장 명확한 차이가 나는 색상대비 부분(예를들면 도 3b의 색상대비 노면과 차선의 구분부분)을 검출한다.
Figure pat00001
이와 같이 구해진 색상값(H)은 도 2a의 가시광선 스펙트럼을 고리모양으로 배치한 색상환과 도 2b의 원뿔모양의 좌표계의 원뿔둘레에 도시한 바와 같이, 0°?360° 범위(0°과 360°은 같은 빨강 색상을 나타냄)를 가진다.
또한, 가장 명확한 차이가 나는 색상대비 부분은 색상값(H)의 차이가 180°에 가까운 경우의 색상대비, 예를 들면, 0°(빨강)와 180°(시안)사이의 색상대비와 일치한다.
채도모듈(13)은 입력되는 RGB 형태의 영상 데이타(예를들면, 도 3a의 노면사진)를 다음 식(2)에 의해 HSI 또는 HSV컬러 모델로 변환하여 채도값(S)을 구하고, 구해진 영상 데이타의 채도값을 비교하여 도로의 차선 및/또는 장애물과 같은 가장 명확한 차이가 나는 채도대비 부분(예를들면 도 3d의 채도대비 차선)을 검출한다.
Figure pat00002
이와 같이 구해진 채도값(S)은 도 2a의 가시광선 스펙트럼을 삼각형모양으로 배치한 색상환과 도 2b의 원뿔모양의 좌표계의 원뿔중심(O)으로부터의 수평거리로 도시한 바와 같이, 0?100% 까지 범위(중심(O)에서의 채도값은 0%, 원뿔가장자리에서의 채도값은 100%)를 가진다.
또한, 가장 명확한 차이가 나는 채도대비 부분은 채도값(S)의 차이가 100%에 가까운 경우의 채도대비, 예를 들면, 0%(흰색)와 100%(특정 색상의 가장 진한 상태)사이의 채도대비와 일치한다.
명도모듈(15)은 영상입력부(7)에서부터 영상처리 마이크로 콘트롤러 유닛(10)을 통해 입력되는 RGB 형태의 영상 데이터(예를들면, 도 3a의 노면사진)를 다음 식(3)에 의해 HSI 또는 HSV컬러 모델로 변환하여 명도값(V)를 구하고, 구해진 영상 데이타의 명도값을 비교하여 도로의 차선 및/또는 장애물과 같은 가장 명확한 차이가 나는 명도대비 부분(예를들면 도 3c의 명도대비 차선)을 검출한다.
Figure pat00003
이와 같이 구해진 명도값(V)은 도 2a의 가시광선 스펙트럼을 삼각형 모양으로 배치한 색상환과 도 2b의 원뿔모양의 좌표계의 원뿔의 꼭지점(C)으로부터의 수직거리로 도시한 바와 같이, 0?100% 까지 범위(아래 꼭지점(C)에서의 명도값은 0%, 위의 원뿔중심(O)에서의 명도값은 100%)를 가진다.
또한, 가장 명확한 차이가 나는 명도대비 부분은 명도값(V)의 차이가 100%에 가까운 경우의 명도대비, 예를 들면, 0%(검정)와 100%(흰색)사이의 명도대비와 일치한다.
영상처리 마이크로 콘트롤러 유닛(10)은 색상모듈(11), 채도모듈(13), 및 명도모듈(15)의 각각으로부터 출력되는 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분(예를들면, 도 3b, 도 3d, 도 3c의 색상대비, 채도대비 및 명도대비 차선)의 데이타를 비교하여 그 중에서 가장 차이가 큰 대비 부분(예를들면, 도 3b의 색상대비 차선과 노면의 구분부분)을 검출하고, 검출된 대비 부분을 연결하여 2차원 또는 3차원 지형지도(예를들면, 도 3b의 색상대비 차선과 노면 영상)를 완성하고, 이를 토대로 도로의 차선 및 장애물을 판단하여 차량의 진행경로를 추정한다. 영상처리 마이크로 콘트롤러 유닛(10)에서 도로의 차선 및 장애물을 토대로 진행경로를 추정하는 방법은 이 기술분야에 공지된 것과 동일하므로, 상세한 설명은 생략한다. 이와 같이, 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들 중에서도 다시 가장 차이가 나는 대비 부분을 차량의 진행경로를 추정하는데 사용함으로서, 차량의 진행경로는 보다 완벽하게 추정될 수 있다.
여기서, 주의할 점은 영상처리 마이크로 콘트롤러 유닛(10)에서 3 가지 대비 부분들 중에서 가장 차이가 나는 대비 부분을 검출할 때, 채도와 명도는 동일한 단위(0%-100%)를 가지므로 명도값 차이(%)와 채도값 차이(%)의 단순비교에 의해 우열을 쉽게 판별할 수 있으나, 색상과 채도 또는 색상과 명도는 서로 단위(도(°)와 %)가 다르므로 두 부분 사이의 색상값 차이(°)와 채도값 차이(%) 또는 명도값 차이(%)의 단순비교로는 서로 우열을 판별하기 어렵다는 점이다. 따라서, 본 실시예에서는 색상의 경우는 별도로 채도값 차이(%) 또는 명도값 차이(%)와 쉽게 비교할 수 있도록 색상들 사이의 도(°)단위의 색상값 차이를 비율(%)단위로 환산한 기준표가 사전에 준비되어 마이크로 콘트롤러 유닛(10)에 프로그램 또는 저장되며, 마이크로 콘트롤러 유닛(10)는 이의 의해 색상차와 채도차 또는 명도차 사이의 우열을 판별한다. 하지만, 본 발명은 이에 한정되지 않으며, 다른 방법, 예를들면, 색상값 차이(°)를 비율(%)로 환산하는 별도의 수식에 의해 마이크로 콘트롤러 유닛(10)이 색상값 차이(°)를 비율(%)로 환산하여 채도값 차이(%) 또는 명도값 차이(%)와 비교하도록 할 수도 있음은 물론이다.
이러한 영상처리 마이크로 콘트롤러 유닛(10)은 추정된 차량의 진행경로를 16비트의 데이타로 출력할 수 있는 예를 들면, 32비트의 마이크로 콘트롤러 유닛으로 구성될 수 있다.
이상에서, 영상처리부(9)의 영상처리 마이크로 콘트롤러 유닛(10)은 색상모듈(11), 채도모듈(13), 및 명도모듈(15)의 각각으로부터 출력되는 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분의 데이타를 비교하여 그 중에서 가장 차이가 나는 대비 부분을 사용하여 도로의 차선 및 장애물을 판단하여 차량의 진행경로를 추정하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않는다. 예를들면, 좀 더 정확한 차량의 경로를 추정하기 위해, 영상처리 마이크로 콘트롤러 유닛(10)은 색상모듈(11), 채도모듈(13), 및 명도모듈(15)의 각각으로부터 출력되는 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분 중 적어도 두 개 이상의 대비 부분의 데이타를 병합하여 차량의 진행경로를 추정하는 것도 가능하다. 예를들면, 도 3e에 도시한 바와 같이, 영상처리 마이크로 콘트롤러 유닛(10)은 도 3b, 도 3d, 도 3c의 색상대비, 채도대비 및 명도대비 노면 및/또는 차선을 합성하고, 이를 사용하여 2차원 또는 3차원 지형지도를 완성하고, 이를 토대로 도로의 차선 및 장애물을 판단하여 차량의 진행경로를 추정하는 것도 가능하다. 이 경우, 색상대비, 채도대비 및 명도대비 중의 하나를 사용하여 경로를 추정함에 따라 나타나는 장단점, 예를들면, 색상대비는 차선이 선명하고 날씨가 좋을 경우에는 높은 적응성을 가지지만 차선이 노후되어 흐리거나 날씨가 좋지 않을 경우 적응력이 낮고, 채도대비 및/또는 명도대비는 그와 반대인 장단점이 보완될 수 있다.
메인제어부(17)는 영상처리 마이크로 콘트롤러 유닛(10)에서 출력된 16비트의 추정 진행경로 데이타를 처리할 수 있도록 16비트의 메인 마이크로 콘트롤러 유닛(19)을 구비한다. 메인 마이크로 콘트롤러 유닛(19)은 영상처리부(9)의 영상처리 마이크로 콘트롤러 유닛(10)에서 출력된 16비트의 추정 진행경로 데이타에 따라 조향부의 조향각도를 제어하기 위해, PWM 제어신호를 서버 모터(21)에 출력하여 서보 모터(21)의 회전속도와 회전량을 제어하여 조향부를 구동한다.
또한, 메인 마이크로 콘트롤러 유닛(19)은 추정된 차량의 진행경로에 따라 차량 본체(5)의 가속, 감속 또는 제동시키기 위해, PWM 제어신호를 모터 드라이버(23)에 출력하여 구동부를 제어하여 차량 본체(5)를 가속, 감속 또는 제동시킨다.
이상에서 설명한 바와 같이, 본 발명에 따른 자동 주행 차량시스템(1)은 촬상된 노면 영상의 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들의 데이타를 비교하여 그 중에서 다시 가장 차이가 큰 대비 부분을 사용하거나 적어도 두 개 이상의 명확히 차이가 나는 대비 부분들을 사용하여 차량의 진행경로를 추정하는 영상처리부(9)를 구비함으로서, 다양한 도로 상황이나 장애물에 대해서도 한 가지의 영상처리 방법만 사용하는 종래의 무인 주행 차량 보다 효율적이고 완벽한 주행제어가 가능하다.
이상과 같이 구성된 본 발명의 일 실시예에 따른 자동 주행 차량시스템(1)의 동작을 도 4를 참조하여 설명하면 다음과 같다.
먼저, 영상입력부(7)의 CCD 카메라에서 도로 영상(3)을 촬상하여 RGB 형태의 영상 데이타(예를들면 도 3a의 노면 사진)로 변환하여 영상처리부(9)의 제1마이크로 콘트롤러 유닛(10)으로 출력하면(S1), 색상모듈(11), 채도모듈(13) 및 명도모듈(15)은 각각, 영상처리 마이크로 콘트롤러 유닛(10)을 통해 입력되는 RGB 형태의 영상 데이타를 HSV 컬러 모델로 변환하여 색상, 채도 및 명도를 검출하고, 검출된 색상, 채도 및 명도로부터 각각의 색상대비, 채도대비 및 명도대비 중 가장 명확한 차이가 나는 대비 부분(예를들면 도 3b의 노면과 차선의 구분부분)을 검출하여 영상처리 마이크로 콘트롤러 유닛(10)으로 출력한다(S2).
이어서, 영상처리 마이크로 콘트롤러 유닛(10)은 색상모듈(11), 채도모듈(13) 및 명도모듈(15)의 각각으로부터 출력된 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분을 비교하여 다시 그 중에서도 가장 차이가 나는 대비 부분(예를들면, 도 3b의 노면과 차선의 구분부분)을 검출하고, 검출된 대비 부분을 연결함으로서 2차원 또는 3차원 지형지도(예를들면, 도 3b의 노면과 차선)를 완성하고, 이를 토대로 도로의 차선 및 장애물을 판단하여 차량의 진행경로를 추정한 다음(S3), 추정된 18비트의 차량 진행경로 데이타를 메인 마이크로 콘트롤러 유닛(19)으로 전송한다(S4).
메인 마이크로 콘트롤러 유닛(19)은 추정된 차량 진행경로 데이타에 따라 차량 본체(5)를 가속, 감속 또는 제동시키기 위해, PWM 제어신호를 모터 드라이버(23)에 출력하여 DC 모터(25)를 통해 구동부를 제어하고, 이에 의해 차량 본체(5)을 가속, 감속, 또는 제동하여 주행시킨다(S5). 또한, 메인 마이크로 콘트롤러 유닛(19)은 추정된 차량 진행경로 데이타에 따라 조향부의 조향각도를 제어하기 위해, PWM 제어신호를 서버 모터(21)에 출력하여 서보 모터(21)의 회전속도와 회전량을 제어하여 조향부를 구동한다(S6).
이와 같이, 자동 주행 차량시스템(1)은 주행하고(S7), 목적지에 도착하면, 메인 마이크로 콘트롤러 유닛(19)은 추정된 차량 진행경로 데이타에 따라 모터 드라이버(23)를 통해 DC 모터(25)를 제어하여 차량 본체(5)의 주행을 정지한다.
이상에서, 본 발명은 원리를 예시하기 위한 실시예와 관련하여 설명하고 도시하였으나, 본 발명은 그와 같이 도시되고 설명된 구성 및 작용으로 한정되지 않는다. 또, 첨부된 특허청구범위의 사상 및 범주를 벗어 나지 않고 본 발명에 대한 다양한 변경과 수정이 가능함은 당업자들에게는 잘 이해될 수 있을 것이다. 따라서, 본 발명에 대한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주 되어야 할 것이다.

Claims (7)

  1. 구동부와 조향부를 구비하는 차량 본체;
    상기 차량 본체에 장착되고, 도로 영상을 촬상하여 영상 데이타로 출력하는 영상입력부;
    상기 영상입력부에서 출력되는 상기 영상 데이타로부터 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들을 검출하고, 상기 검출된 색상대비, 채도대비 및 명도대비 부분들 중 적어도 하나를 사용하여 차량의 진행경로를 추정하는 영상처리부; 및
    상기 영상처리부에서 출력된 차량 진행경로 추정 데이타를 토대로 상기 구동부와 상기 조향부를 제어하여 상기 차량 본체를 주행시키는 메인제어부를 포함하는 것을 특징으로 하는 자동주행 차량시스템.
  2. 제1항에 있어서, 상기 영상입력부는 상기 차량 본체에 설치되어 상기 도로 영상을 촬상하는 적어도 한 개의 CCD 카메라를 포함하는 것을 특징으로 하는 자동주행 차량시스템.
  3. 제1항에 있어서, 상기 가장 명확한 차이가 나는 색상대비 부분, 채도대비 부분, 및 명도대비 부분의 각각은 도로의 차선과 장애물 중에서 적어도 하나를 포함하는 것을 특징으로 하는 자동주행 차량시스템.
  4. 제1항에 있어서, 상기 영상처리부는,
    상기 영상 데이타로부터 상기 가장 명확한 차이가 나는 색상대비 부분을 검출하는 색상모듈;
    상기 영상 데이타로부터 상기 가장 명확한 차이가 나는 채도대비 부분을 검출하는 채도모듈; 및
    상기 영상 데이타로부터 상기 가장 명확한 차이가 나는 명도대비 부분을 검출하는 명도모듈을 포함하는 것을 특징으로 하는 자동주행 차량시스템.
  5. 제3항에 있어서, 상기 색상모듈, 상기 채도모듈, 및 상기 명도모듈은 각각, 상기 영상 데이타를 HSV(Hue Saturation Value) 칼라 모델로 변환하는 것에 의해 얻어진 색상값, 채도값 및 명도값을 사용하여 상기 가장 명확한 차이가 나는 색상대비 부분, 채도대비 부분 및 명도대비 부분들을 검출하는 것을 특징으로 하는 자동주행 차량시스템.
  6. 제1항에 있어서, 상기 영상처리부는 상기 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들 중에서 다시 가장 큰 차이가 나는 한 개의 대비 부분을 검출하고, 상기 검출된 대비 부분을 사용하여 차량의 진행경로를 추정하는 것을 특징으로 하는 자동주행 차량시스템.
  7. 제1항에 있어서, 상기 영상처리부는 상기 가장 명확한 차이가 나는 색상대비, 채도대비 및 명도대비 부분들 중에서 적어도 두 가지 이상을 합성하여 차량의 진행경로를 추정하는 것을 특징으로 하는 자동주행 차량시스템.
KR1020110013902A 2011-02-17 2011-02-17 자동 주행 차량시스템 KR20120094566A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110013902A KR20120094566A (ko) 2011-02-17 2011-02-17 자동 주행 차량시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110013902A KR20120094566A (ko) 2011-02-17 2011-02-17 자동 주행 차량시스템

Publications (1)

Publication Number Publication Date
KR20120094566A true KR20120094566A (ko) 2012-08-27

Family

ID=46885376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110013902A KR20120094566A (ko) 2011-02-17 2011-02-17 자동 주행 차량시스템

Country Status (1)

Country Link
KR (1) KR20120094566A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142371A1 (ko) * 2013-03-15 2014-09-18 Park su-min 자동차 자동 운행 시스템
US9180904B2 (en) 2013-12-09 2015-11-10 Hyundai Motor Company Apparatus and method for controlling automatic steering of vehicle
KR20180067372A (ko) * 2016-12-12 2018-06-20 이현지 필드 프로그래머블 게이트 어레이 및 라즈베리 파이를 이용한 지능형 자동차 제어 시스템
KR20220141432A (ko) * 2021-04-13 2022-10-20 재단법인대구경북과학기술원 전자 장치 및 전자 장치의 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142371A1 (ko) * 2013-03-15 2014-09-18 Park su-min 자동차 자동 운행 시스템
US9180904B2 (en) 2013-12-09 2015-11-10 Hyundai Motor Company Apparatus and method for controlling automatic steering of vehicle
KR20180067372A (ko) * 2016-12-12 2018-06-20 이현지 필드 프로그래머블 게이트 어레이 및 라즈베리 파이를 이용한 지능형 자동차 제어 시스템
KR20220141432A (ko) * 2021-04-13 2022-10-20 재단법인대구경북과학기술원 전자 장치 및 전자 장치의 제어 방법

Similar Documents

Publication Publication Date Title
KR101844885B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
KR101579098B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
CN103237685B (zh) 盲区显示装置及方法
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
EP3487172A1 (en) Image generation device, image generation method, and program
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
KR101631439B1 (ko) 카메라, 및 이를 구비한 차량
US20220180483A1 (en) Image processing device, image processing method, and program
US20110157184A1 (en) Image data visualization
KR20130030208A (ko) 에고모션 추정 시스템 및 방법
CA3026231A1 (en) Imaging control device and method, and vehicle
KR101790426B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
JP6977722B2 (ja) 撮像装置、および画像処理システム
CN113085896B (zh) 一种现代有轨清洁车辅助自动驾驶系统及方法
JP2012105090A (ja) 駐車支援装置
KR20120094566A (ko) 자동 주행 차량시스템
US8170284B2 (en) Apparatus and method for displaying image of view in front of vehicle
KR20170140284A (ko) 차량 운전 보조 장치 및 차량
JP6303419B2 (ja) 車両用走行案内装置および車両用走行案内方法
JP2004257837A (ja) ステレオアダプタ撮像システム
KR20170043212A (ko) 차량용 어라운드 뷰 제공 장치 및 차량
US20230045772A9 (en) Information processing apparatus, information processing method, and program
Ikeda et al. Diminished reality system based on open-source software for self-driving mobility
CN113170057A (zh) 摄像部控制装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application