KR101473426B1 - 차량의 주행 경로 인식 방법 및 장치 - Google Patents

차량의 주행 경로 인식 방법 및 장치 Download PDF

Info

Publication number
KR101473426B1
KR101473426B1 KR1020100108795A KR20100108795A KR101473426B1 KR 101473426 B1 KR101473426 B1 KR 101473426B1 KR 1020100108795 A KR1020100108795 A KR 1020100108795A KR 20100108795 A KR20100108795 A KR 20100108795A KR 101473426 B1 KR101473426 B1 KR 101473426B1
Authority
KR
South Korea
Prior art keywords
information
vehicle
area
road
traveling
Prior art date
Application number
KR1020100108795A
Other languages
English (en)
Other versions
KR20120047104A (ko
Inventor
이경복
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020100108795A priority Critical patent/KR101473426B1/ko
Publication of KR20120047104A publication Critical patent/KR20120047104A/ko
Application granted granted Critical
Publication of KR101473426B1 publication Critical patent/KR101473426B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 하나의 이미지 센서를 통하여 서로 다른 초점에 의한 복수의 영상을 입력받아 차량의 주행 경로를 인식함으로써, 차량의 주행 경로 인식 성능을 향상시킬 수 있는 차량의 주행 경로 인식 방법 및 장치에 관한 것이다. 본 발명은, 각각 다초점 렌즈의 서로 다른 초점 영역을 통하여 입력되는 제1 영역과 제2 영역을 포함하는 입력 영상을 입력받는 단계; 상기 입력 영상에서 상기 제1 영역과 상기 제2 영역을 추출하는 단계; 상기 제1 영역 및 상기 제2 영역에서 차선 정보를 추출하는 단계; 및 상기 차선 정보로부터 주행 도로 정보를 생성하는 단계를 구비하는 차량의 주행 경로 인식 방법을 제공한다.

Description

차량의 주행 경로 인식 방법 및 장치{Method for recognizing travelling route of vehicle and apparatus thereof}
본 발명은 차량의 주행 경로 인식 방법 및 장치에 관한 것으로서, 보다 상세하게는 카메라 등을 이용한 이동 로봇 또는 차량 등에서 카메라 등을 통하여 입력되는 입력 영상으로부터 차량의 주행 경로를 인식함으로써, 주행 경로 이탈 경보 및/또는 주행 경로를 유지할 수 있도록 제어할 수 있는 차량의 주행 경로 인식 방법 및 장치에 관한 것이다.
차량의 주행 경로 제어 장치는 이동 로봇을 포함하는 다양한 종류의 차량 등에서 차량이 주행 경로를 따라가도록 제어할 수 있다. 이때, 차량의 주행 경로 제어 장치는 차량이 가야할 주행 경로를 인식하고, 차량이 인식된 주행 경로를 따라 운행하도록 제어할 수 있다.
차량이 따라 가야할 주행 경로는 직선 또는 곡선의 형상이 될 수 있다. 이때, 곡선 주행 경로는 직선 주행 경로에 비하여 차량이 주행 경로를 따라 운행하기 어려운 점이 있다. 이는, 곡선 주행 경로는 직선 주행 경로에 비하여 정확한 곡률 정보를 얻기 어렵기 때문이다.
따라서, 곡선 주행 경로의 경우에도 상대적으로 정확한 곡률 정보를 얻을 수 있다면, 주행 경로 추종 성능을 향상시킬 수 있게 된다.
본 발명은, 하나의 이미지 센서를 통하여 서로 다른 초점에 의한 복수의 영상을 입력받아 차량의 주행 경로를 인식함으로써, 차량의 주행 경로 인식 성능을 향상시킬 수 있는 차량의 주행 경로 인식 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은, 각각 다초점 렌즈의 서로 다른 초점 영역을 통하여 입력되는 제1 영역과 제2 영역을 포함하는 입력 영상을 입력받는 단계; 상기 입력 영상에서 상기 제1 영역과 상기 제2 영역을 추출하는 단계; 상기 제1 영역 및 상기 제2 영역에서 차선 정보를 추출하는 단계; 및 상기 차선 정보로부터 주행 도로 정보를 생성하는 단계를 구비하는 차량의 주행 경로 인식 방법을 제공한다.
상기 렌즈가 각각 서로 다른 초점에 대응되는 제1 렌즈 및 제2 렌즈를 구비할 수 있다.
상기 제1 렌즈 및 상기 제2 렌즈 각각의 주시 거리 및 주시 각도를 계산하는 단계를 더 구비할 수 있다. 상기 주시 거리 및 상기 주시 각도에 의하여, 상기 입력 영상에서 상기 제1 영역과 상기 제2 영역을 추출할 수 있다.
상기 제1 영역 및 상기 제2 영역 각각에서 상기 주행 도로의 특징점들을 검출하는 단계를 더 구비할 수 있다. 상기 특징점들로부터 상기 제1 영역 및 상기 제2 영역에서의 상기 차선 정보를 추출할 수 있다.
상기 차선 정보로부터 주행 도로를 인식하는 단계; 및 상기 주행 도로를 실제 주행 도로에 대응되는 기준 좌표계로 변환하는 단계를 더 구비할 수 있다.
상기 주행 도로가, 상기 제1 영역에 대응되는 제1 부분, 상기 제2 영역에 대응되는 제2 부분, 및 상기 제1 부분과 상기 제2 부분 사이의 사각 지대에 해당하는 제3 부분을 구비할 수 있다.
상기 제1 영역 및 상기 제2 영역의 차선 정보들을 선형 보간하여 상기 제3 부분에 대응되는 차선 정보를 추출하여 결합하여, 상기 주행 도로 정보를 생성할 수 있다.
상기 주행 도로 정보로부터 주행 도로의 곡률 정보를 추출하는 단계를 더 구비할 수 있다.
상기 입력 영상에서의 중심값과 상기 주행 도로의 곡률 정보의 차이로부터 차량의 목표 조향 정보를 추출하는 단계; 및 상기 목표 조향 정보에 따라 상기 차량의 조향을 제어하는 단계를 더 구비할 수 있다.
상기 곡률 정보와 차량의 현재 조향 정보로부터 상기 차량의 상기 주행 도로로부터의 이탈 정보를 추출하는 단계; 및 상기 차량이 상기 주행 도로로부터 이탈된 것으로 판단되는 경우에, 경보 또는 이탈 사실을 외부로 전송하는 단계를 더 구비할 수 있다.
본 발명의 다른 측면은, 각각 다초점 렌즈의 서로 다른 초점 영역을 통하여 입력되는 제1 영역과 제2 영역을 포함하는 입력 영상을 입력받는 영상 입력부; 상기 입력 영상에서 상기 제1 영역과 상기 제2 영역을 추출하고, 상기 제1 영역 및 상기 제2 영역에서 차선 정보를 추출하는 영상 처리부; 및 상기 차선 정보로부터 주행 도로 정보를 생성하는 주행 도로 인식부를 구비하는 차량의 주행 경로 인식 장치를 제공한다.
상기 렌즈가 각각 서로 다른 초점에 대응되는 제1 렌즈 및 제2 렌즈를 구비할 수 있다.
상기 영상 처리부가, 상기 제1 렌즈 및 상기 제2 렌즈 각각의 주시 거리 및 주시 각도를 고려하여, 상기 입력 영상에서 상기 제1 영역과 상기 제2 영역을 추출할 수 있다.
상기 주행 도로 인식부가, 상기 제1 영역 및 상기 제2 영역 각각에서 상기 주행 도로의 특징점들을 검출하고, 상기 특징점들로부터 상기 제1 영역 및 상기 제2 영역에서의 상기 차선 정보를 추출할 수 있다.
상기 주행 도로 인식부가, 상기 차선 정보로부터 주행 도로를 인식하고, 상기 주행 도로를 실제 주행 도로에 대응되는 기준 좌표계로 변환할 수 있다.
상기 주행 도로가, 상기 제1 영역에 대응되는 제1 부분, 상기 제2 영역에 대응되는 제2 부분, 및 상기 제1 부분과 상기 제2 부분 사이의 사각 지대에 해당하는 제3 부분을 구비할 수 있다.
상기 제1 영역 및 상기 제2 영역의 차선 정보들을 선형 보간하여 상기 제3 부분에 대응되는 차선 정보를 추출하여 결합하여, 상기 주행 도로 정보를 생성할 수 있다.
상기 주행 도로 인식부가, 상기 주행 도로 정보로부터 주행 도로의 곡률 정보를 추출할 수 있다.
상기 입력 영상에서의 중심값과 상기 주행 도로의 곡률 정보의 차이로부터 차량의 목표 조향 정보를 추출하는 제어 연산부; 및 상기 목표 조향 정보에 따라 상기 차량의 조향을 제어하는 조향 제어부를 더 구비할 수 있다.
상기 곡률 정보와 차량의 현재 조향 정보로부터 상기 차량의 상기 주행 도로로부터의 이탈 정보를 추출하는 제어 연산부; 상기 차량이 상기 주행 도로로부터 이탈된 것으로 판단되는 경우에, 경보를 발하는 경보부; 및 상기 차량이 상기 주행 도로로부터 이탈된 것으로 판단되는 경우에, 이탈 사실을 외부로 전송하는 통신부;를 더 구비할 수 있다.
본 발명에 따른 차량의 주행 경로 인식 방법 및 장치에 의하면, 하나의 이미지 센서를 통하여 서로 다른 초점에 의한 복수의 영상을 입력받아 차량의 주행 경로를 인식함으로써, 차량의 주행 경로 인식 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 주행 경로 인식 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 주행 경로 인식 방법을 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 주행 경로 인식 방법 및 장치에 의한 인식 대상이 되는 도로와 다초점 렌즈를 통하여 입력되는 입력 영상을 개략적으로 도시한 도면이다.
도 4는 도 1의 다초점 렌즈를 통하여 입력된 입력 영상을 개략적으로 도시한 도면이다.
도 5는 도 1의 다초점 렌즈에 대한 비교예가 될 수 있는 일반 렌즈를 통하여 입력된 일반 영상을 개략적으로 도시한 도면이다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1에는 본 발명의 일 실시예에 따른 차량의 주행 경로 인식 장치(500)를 나타내는 블록도가 개략적으로 도시되어 있다. 이하에서 차량의 주행 경로 인식 장치(500)에 대하여 도 3 내지 도 5를 참조하여 설명한다.
도면을 참조하면, 차량의 주행 경로 인식 장치(500)는 영상 입력부(510); 영상 처리부(521); 및 주행 도로 인식부(522)를 포함할 수 있다.
영상 입력부(510)는 각각 다초점 렌즈(20)의 서로 다른 초점 영역(21, 22)을 통하여 입력되는 제1 영역(11)과 제2 영역(12)을 포함하는 입력 영상(10)을 입력받을 수 있다.
영상 처리부(521)는 입력 영상(10)에서 제1 영역(11)과 제2 영역(12)을 추출하고, 제1 영역(11) 및 제2 영역(12)에서 차선 정보(111, 121)를 추출할 수 있다. 주행 도로 인식부(522)는 차선 정보(111, 121)로부터 주행 도로 정보를 생성할 수 있다.
따라서, 차량의 주행 경로 인식 장치(500)에 의하여 하나의 이미지 센서를 통하여 서로 다른 초점(21, 22)에 의한 복수의 영상(11, 12)을 입력받아 차량의 주행 경로를 인식할 수 있다.
이때, 다초점 렌즈(20)를 통하여 하나의 이미지 센서에 원거리와 근거리 영상을 투영함으로써, 다양한 도로 환경에서도 더욱 정확한 주행 경로를 인식할 수 있다. 그에 따라, 차량의 주행 경로 인식 장치(500)의 차량의 주행 경로 인식 성능을 향상시킬 수 있다.
또한, 하나의 이미지 센서에 의하여, 하나의 카메라로 두 대의 카메라 역할을 수행할 수 있게 되므로, 생산 단가를 절약할 수 있으며, 제품 신뢰도를 향상시킬 수 있게 된다.
또한, 다중 카메라를 사용하지 않고서도 하나의 렌즈로 원거리 및 근거리 영상을 함께 얻어 주행 도로를 더욱 정확하게 인식하고, 이를 통하여 주행 경로의 이탈 경보 및/또는 주행 경로 유지 제어를 실시간으로 수행할 수 있게 된다.
통상의 차량의 주행 경로 인식 장치(500)에서는 모노(Mono, 단일) 또는 스테레오(또는 다중) 카메라를 이용하여 차선의 기하학적 모델을 기반으로 차선을 인식할 수 있다. 모노 비전(단일 카메라) 또는 스테레오 비전 시스템을 사용하는 경우에는, 단초점 렌즈를 지원하기 때문에 원거리 영상 정보가 작아, 주로 다양한 주행선 인식이 어렵다. 또한, 많은 경우 주행선이 직선으로 나타나기 때문에 안정적인 주행선 곡률 정보를 취득하기 어려워 영상 노이즈에 민감할 수 있다.
통상적으로, 주행 경로 인식은 하나의 카메라 또는 스테레오(또는 다중) 카메라 시스템으로 구성될 수 있다. 또한, 고성능 프로세서를 이용하여 복잡한 알고리즘 등 다양한 기능을 수행할 수 있다.
하나 또는 다중 카메라를 이용한 카메라시스템은 카메라 수만큼 처리 장치가 필요하고, 그만큼 많은 양의 전력소모 발생할 수 있다. 이를 보완하기 위하여, 레이저(laser)와 레이더 센서와 카메라 센서를 융합 기반으로 구현할 수 있다. 이 경우, 제품의 신뢰성을 향상시키며, 향후 운전자의 편의를 도모하고 교통 사고를 감소시킬 수 있게 된다.
또한, 로봇의 조향 제어를 위하여 아커만 모델(Arkerman Model)의 이륜차 모델(Bicycle Model) 또는 이중 아커만 모델(Double Arkerman Model)로 이동 로봇의 행동 모델(Behavior Model)에 적합한 조향각 계산식을 유도하여 각 바퀴의 선속도와 각속도를 계산하고, 이 값에 따라 조향휠을 제어하는 방식이 적용될 수 있다.
이때, 조향휠을 비전 센서기 반 또는 센서 융합 기반으로 주행선 목표점을 향해 제어할 수 있다. 하지만, 기존 카메라 시스템으로는 직선 도로 정보를 취득하는데 강인한 성능을 보이는 반면 정확한 곡선 도로 곡률 정보를 취득하기 어려울 수 있다. 따라서, 기존 기술로 이를 극복하기 위해서 복잡한 영상 인식 알고리즘 및 조향 제어 알고리즘을 적용될 수 있다.
이와 같이, 종래 기술에서는 주행 경로 이탈 및 유지 시스템을 구현하기 위하여, 주행 중인 차선 또는 주행 경로의 특징 신호를 분석하여 이동 로봇이 정확한 도로 곡률 정보 없이 주행 경로를 벗어났는지 판단하기 어려워 다중 카메라가 필요할 수 있다.
한편, 다초점 렌즈(20)가 아닌 통상의 단초점 렌즈를 통하여 입력되는 입력 영상(10a)이 도 5에 도시되어 있다. 입력 영상(10a)은 제1 영역(11a)과 제2 영역(12a)을 포함할 수 있다.
이 경우, 하나의 단초점 렌즈로 차선을 인식하기는 용이할 수 있다. 하지만, 제2 영역(12a)에서 원거리 차선을 인식하기에는 영상 정보가 작다. 따라서, 차선 인식에 오류가 쉽게 발생할 수 있다. 이는, 종래의 카메라 이미지센서에 투영되는 정보는 근거리 영상 픽셀 정보가 많은 반면 원거리 영상 픽셀 정보는 적어서, 정확한 원거리 주행 도로 곡률 정보를 취득하기 어렵기 때문이다.
이러한 문제점을 극복하기 위해, 근거리에 투영된 주행선을 기반으로 원거리 주행선을 확률적 모델을 이용해 예측할 수도 있다. 하지만, 이 경우에도 정확도가 떨어질 수 있다.
다초점 렌즈(20)는 각각 서로 다른 초점에 대응되는 제1 렌즈(21) 및 제2 렌즈(22)를 포함할 수 있다. 즉, 차량의 주행 경로 인식 장치(500)는 입력 영상(10)을 입력받는 렌즈로 제1 렌즈(21) 및 제2 렌즈(22)를 포함하는 복수의 렌즈 영역을 포함하는 다초점 렌즈(20)를 채용할 수 있다.
따라서, 차량의 주행 경로 인식 장치(500)는 하나의 이미지 센서를 통하여 서로 다른 초점(21, 22)에 의한 복수의 영상(11, 12)을 입력받아 차량의 주행 경로를 인식할 수 있게 된다.
렌즈(20)는 각각 서로 다른 초점에 대응되는 제1 렌즈(21) 및 제2 렌즈(22)를 포함할 수 있다. 이 경우, 입력 영상(10)의 제1 영역(11)은 제1 렌즈(21)를 통하여 하나의 이미지 센서를 통하여 입력될 수 있다. 입력 영상(10)의 제2 영역(12)은 제2 렌즈(22)를 통하여 동일한 이미지 센서를 통하여 입력될 수 있다.
한편, 도3에 도시된 실시예에서는 다초점 렌즈(20)에서는 제1 렌즈(21) 및 제2 렌즈(22)가 서로 고정되어 함께 움직일 수 있도록 구성될 수 있다. 다만, 본 발명은 이에 한정되지 아니하고, 제1 렌즈(21) 및 제2 렌즈(22)가 서로 고정되어 있지 아니하고, 개별적으로 움직일 수 있도록 구성될 수 있다.
영상 처리부(521)는 제1 렌즈(21) 및 제2 렌즈(22) 각각의 주시 거리 및 주시 각도를 고려하여, 입력 영상(10)에서 제1 영역(11)과 제2 영역(12)을 추출할 수 있다.
즉, 영상 입력 대상이 되는 주행 도로(30)에 대하여, 제1 렌즈(21) 및 제2 렌즈(22) 각각의 주시 거리 및 주시 각도에 따라, 제1 부분(31) 및 제2 부분(32)에 대한 영상을 입력받을 수 있게 된다. 여기서, 제1 부분(31)은 다초점 렌즈(20)에 대하여 근거리 영역이 되고, 제2 부분(32)은 다초점 렌즈(20)에 대하여 원거리 영역이 될 수 있다.
이때, 다초점 렌즈(20)가 제1 렌즈(21)와 제2 렌즈(22)로 구분되는 경우, 주행 도로(30)에서 제3 부분(33)은 제1 렌즈(21)와 제2 렌즈(22) 각각을 통하여 입력되는 입력 영상(10)에 보이지 아니하는 음영 영역에 해당될 수 있다. 따라서, 다초점 렌즈(20)에 의하여 주행 도로(30)를 인식하기 위해서는 제3 부분(33)에 대한 영상이 추측 또는 보간되어 전체 주행 도로(30)에 대한 영상이 복원될 수 있다.
주행 도로 인식부(522)는 제1 영역(11) 및 제2 영역(12) 각각에서 주행 도로(30)의 특징점들을 검출하고, 특징점들로부터 제1 영역(11) 및 제2 영역(12)에서의 차선 정보(111, 121)를 추출할 수 있다.
또한, 주행 도로 인식부(522)는 차선 정보(111, 121)로부터 주행 도로(30)를 인식하고, 주행 도로(30)를 실제 주행 도로에 대응되는 기준 좌표계(Xw, Yw, Zw)로 변환할 수 있다. 이때, 다초점 렌즈(20)에는 렌즈 좌표계(Xc, Yc, Zc)가 대응될 수 있다.
이때, 주행 도로(30)는 입력 영상(10)에서 영상 좌표계(Xs, Ys, Zs)를 기준으로 인식될 수 있다. 이 경우, 주행 도로(30)가 영상 좌표계(Xs, Ys, Zs)로부터 기준 좌표계(Xw, Yw, Zw)로 변환할 수 있다.
주행 도로 인식부(522)는 주행 도로 정보로부터 주행 도로의 곡률 정보를 추출할 수 있다. 이때, 주행 도로의 곡률 정보로부터 주행 도로의 형상을 알 수 있게 된다.
주행 도로(30)는 제1 부분(31), 제2 부분(32), 및 제3 부분(33)을 포함할 수 있다. 제1 부분(31)은 제1 영역(11)에 대응되는 다초점 렌즈(20)를 기준으로 근거리 영역에 해당한다. 제2 부분(32)은 제2 영역(12)에 대응되는 다초점 렌즈(20)를 기준으로 원거리 영역에 해당한다.
제3 부분(33)은 제1 부분(31)과 제2 부분(32) 사이의 사각 지대의 음영 영역에 해당한다. 이때, 제3 부분(33)에 대한 영역의 정보는 제1 영역(11) 및 제2 영역(12)의 차선 정보들(111, 121)을 선형 보간하여 생성할 수 있다.
선형 보간에 의하여 제3 부분(33)에 대한 영역의 정보를 생성함으로써, 비교적 간단하게 음영 영역에 해당하는 제3 부분(33)에 대한 정보를 얻을 수 있게 된다.
이 경우, 주행 도로 정보는, 제1 영역(11) 및 제2 영역(12)의 차선 정보들(111, 121)에, 제3 부분(33)에 대응되는 영역의 차선 정보를 추출하여 결합함으로써 생성될 수 있다.
한편, 차량의 주행 경로 인식 장치(500)는 제어 연산부(523)를 더 포함할 수 있다. 제어 연산부(523)는 입력 영상(10)에서의 중심값(Os)과 주행 도로(30)의 곡률 정보의 차이로부터 차량의 목표 조향 정보를 추출할 수 있다. 제어 연산부(523)는 곡률 정보와 차량의 현재 조향 정보로부터 차량의 주행 도로로부터의 이탈 정보를 추출할 수 있다.
이때, 입력 영상(10)에서의 중심값(Os)은 각각 다초점 렌즈(20)의 중심값(Oc) 및/또는 주행 도로(30)의 중심값(Ow)에 대응될 수 있다.
영상 처리부(521), 주행 도로 인식부(522), 및 제어 연산부(523)는 하나의 제어부(520)를 형성할 수 있다. 이 경우, 제어부(520)는 영상 처리부(521), 주행 도로 인식부(522), 및 제어 연산부(523)를 포함하는 하나의 프로세서로 구현될 수 있다. 이때, 제어부(520)로는 통상의 마이크로 컴퓨터 및/또는 디지털 신호 처리(DSP) 칩이 적용될 수 있다.
이 경우, 내부 DSP 제어 시스템을 통하여 카메라를 캘리브레이션하고, 원거리 영상과 근거리 영상 사이의 소실된 영상 정보를 복원하는 보간 알고리즘 내재화할 수 있다. 따라서, 정확한 도로 곡률 정보를 취득할 수 있게 된다.
또한, 차량의 주행 경로 인식 장치(500)는 조향 제어부(530), 조향부(540), 경보부(550), 및 통신부(560)를 더 포함할 수 있다.
조향 제어부(530)는 제어 연산부(523)에서 추출한 목표 조향 정보에 따라 차량의 조향을 제어할 수 있다. 이를 위하여, 조향 제어부(530)는 차량의 조향을 제어하기 위한 조향 제어 신호를 생성할 수 있다.
조향부(540)는 조향 제어부(530)에서 생성된 조향 제어 신호에 의하여 차량의 조향을 제어할 수 있다. 이를 위하여, 조향부(540)는 각각의 바퀴와 연결되어 바퀴의 방향을 제어하는 조향 모터를 포함할 수 있다.
경보부(550)는 차량이 주행 도로(30)로부터 이탈된 것으로 판단되는 경우에는, 경보를 발할 수 있다. 이에 따라, 운전자 또는 통제실 관리자가 차량이 주행 도로(30)로부터 이탈된 것을 인지하고, 그에 대한 대책을 세울 수 있도록 할 수 있다. 이때, 차량이 주행 도로(30)로부터 이탈된 것으로 판단되는 경우에 차량을 정지시킬 수도 있다.
통신부(560)는 차량이 주행 도로(30)로부터 이탈된 것으로 판단되는 경우에, 이탈 사실을 외부로 전송할 수 있다. 그에 따라, 외부에서 차량이 주행 도로(30)로부터 이탈된 것을 인지하고, 그에 대한 대책을 세울 수 있도록 할 수 있다.
다초점 렌즈를 포함하는 영상 입력부(510)와 영상 처리부(521), 제어 연산부(523) 및 통신부(560) 등은 카메라가 부착된 독립적인 카메라 기반 시스템에 의해 구현 되도록 할 수 있다.
본 발명의 일 실시예에 따른 차량의 주행 경로 인식 장치(500)는 다초점 카메라 시스템을 이용한 이동 로봇 또는 차량의 주행 경로 이탈 경보 및 주행 경로 유지를 위하여 사용될 수 있다. 이때, 주행 중인 이동 로봇의 전방 도로 표식인 차선을 다초점 렌즈로 원거리와 근거리 영상으로 하나의 CMOS 또는 CCD 등의 이미지 센서에 투영할 수 있다.
이때, 각각의 투영된 주행 경로 특징점(도로 랜드 마크, 주행 가능 도로)을 검출하고, 검출된 주행 경로 특징 정보의 영상 좌표(Xs, Ys, Zs)를 월드 좌표(Xw, Yw, Zw)로 변환하여 정확한 도로 곡률 반경과 이동 로봇의 위치와 자세를 구할 수 있다. 현재 이동 로봇의 주행 상태가 주행 경로 이탈인지를 판단하고, 그 판단 결과에 따라 제어 시스템 또는 원격 제어 센터에 통보하고, 이동 로봇이 주행 경로를 이탈하지 않도록 자율 조향 제어(Autonomous Steering control)를 실행하여, 이동 로봇의 안정적인 주행 경로를 유지하도록 할 수 있다.
차량의 주행 경로 인식 장치(500)는 다초점 카메라 시스템을 통해 영상 기반 이동 로봇 비젼 분야와 센서 융합 기반 차량 안전 제어 제품 분야 등에 응용이 가능하다. 또한, 하나의 이미지 센서로 두 대의 카메라 역할을 하기 때문에 영상 처리 시스템을 간결화 할 수 있으며, 생산단가를 낮출 수 있다.
또한, 본 기술에 의하여 정확한 도로 곡률 정보를 획득할 수 있으므로, 주행 경로 이탈 경보 장치(Lane Departure Warning System) 및 주행 경로 유지 장치(Lane Keeping System) 등에 응용이 가능하다.
이 경우, 다중 카메라를 사용하지 않고서도 하나의 렌즈로 원거리 및 근거리 영상을 얻어 정확한 주행 도로를 인식할 수 있다. 또한, 주행 경로 이탈 경보 및 주행 경로 유지 제어를 실시간으로 수행할 수 있게 된다.
도 2에는 본 발명의 일 실시예에 따른 차량의 주행 경로 인식 방법(S400)을 나타내는 흐름도가 개략적으로 도시되어 있다. 이하에서 차량의 주행 경로 인식 방법(S400)에 대하여 도 3 내지 도 5를 참조하여 설명한다.
이때, 차량의 주행 경로 인식 방법(S400)은 도 1의 차량의 주행 경로 인식 장치(500)에서 구현되는 것으로, 도 1에 대한 설명과 동일한 내용은 이를 참조하고 이들에 대한 자세한 설명은 생략한다.
도면을 참조하면, 차량의 주행 경로 인식 방법(S400)은 입력영상 입력단계(S410); 영역 추출단계(S420); 차선정보 추출단계(S430, S440); 및 주행도로 생성단계(S450 내지 S480)를 구비할 수 있다.
입력영상 입력단계(S410)에는 각각 다초점 렌즈(20)의 서로 다른 초점 영역(21, 22)을 통하여 입력되는 제1 영역(11)과 제2 영역(12)을 포함하는 입력 영상(10)을 입력받을 수 있다.
영역 추출단계(S420)에는 입력 영상(10)에서 제1 영역(11)과 제2 영역(12)을 추출할 수 있다. 차선정보 추출단계(S430, S440)에는 제1 영역(11)과 제2 영역(12)에서 차선 정보(111, 121)를 추출할 수 있다.
주행도로 생성단계(S450 내지 S480)에는 차선 정보(111, 121)로부터 주행 도로 정보를 생성할 수 있다.
따라서, 차량의 주행 경로 인식 방법(S400)에 의하여 하나의 이미지 센서를 통하여 서로 다른 초점(21, 22)에 의한 복수의 영상(11, 12)을 입력받아 차량의 주행 경로를 인식할 수 있다.
이때, 다초점 렌즈(20)를 통하여 하나의 이미지 센서에 원거리와 근거리 영상을 투영함으로써, 다양한 도로 환경에서도 더욱 정확한 주행 경로를 인식할 수 있다. 그에 따라, 차량의 주행 경로 인식 방법(S400)에 의한 차량의 주행 경로 인식 성능을 향상시킬 수 있다.
렌즈(20)는 각각 서로 다른 초점에 대응되는 제1 렌즈(21) 및 제2 렌즈(22)를 포함할 수 있다. 이 경우, 입력 영상(10)의 제1 영역(11)은 제1 렌즈(21)를 통하여 하나의 이미지 센서를 통하여 입력될 수 있다. 입력 영상(10)의 제2 영역(12)은 제2 렌즈(22)를 통하여 동일한 이미지 센서를 통하여 입력될 수 있다.
한편, 입력 영상(10)에서 정확한 차선 정보를 추출할 수 있도록 다초점 렌즈(20)를 포함하는 카메라가 캘리브레이션(calibration)할 수 있다.
영역 추출단계(S420)는 제1 렌즈(21) 및 제2 렌즈(22) 각각의 주시 거리 및 주시 각도를 계산하는 단계를 포함할 수 있다. 이 경우, 영역 추출단계(S420)에 주시 거리 및 주시 각도에 의하여, 입력 영상(10)에서 제1 영역(11)과 제2 영역(12)을 추출할 수 있다.
영상 입력 대상이 되는 주행 도로(30)에 대하여, 제1 렌즈(21) 및 제2 렌즈(22) 각각의 주시 거리 및 주시 각도에 따라, 제1 부분(31) 및 제2 부분(32)에 대한 영상을 입력받을 수 있게 된다.
여기서, 제1 부분(31)은 다초점 렌즈(20)에 대하여 근거리 영역이 되고, 제2 부분(32)은 다초점 렌즈(20)에 대하여 원거리 영역이 될 수 있다. 이때, 제1 영역(11)은 근거리 영역에 대한 영상이 되고, 제2 영역(12)은 원거리 영역에 대한 영상이 될 수 있다.
차선정보 추출단계(S430, S440)는 제1 영역(11)과 제2 영역(12) 각각에서 주행 도로(30)의 특징점을 추출하고(S430), 그 특징점들로부터 제1 영역(11)과 제2 영역(12)에서의 차선 정보(111, 121)를 추출(S440)할 수 있다.
주행도로 생성단계(S450 내지 S480)는 주행도로 인식단계(S450), 좌표계 변환단계(S460), 주행도로 완성단계(S470), 및 곡률정보 추출단계(S480)를 포함할 수 있다.
주행도로 인식단계(S450)에는 차선 정보(111, 121)로부터 주행 도로(30)를 인식할 수 있다. 좌표계 변환단계(S460)에는 주행 도로(30)를 실제 주행 도로에 대응되는 기준 좌표계(Xw, Yw, Zw)로 변환할 수 있다.
주행 도로(30)는 제1 부분(31), 제2 부분(32), 및 제3 부분(33)을 포함할 수 있다. 제1 부분(31)은 제1 영역(11)에 대응되는 다초점 렌즈(20)를 기준으로 근거리 영역에 해당한다. 제2 부분(32)은 제2 영역(12)에 대응되는 다초점 렌즈(20)를 기준으로 원거리 영역에 해당한다. 제3 부분(33)은 제1 부분(31)과 제2 부분(32) 사이의 사각 지대의 음영 영역에 해당한다.
주행 도로 정보는, 제1 영역(11) 및 제2 영역(12)의 차선 정보들(111, 121)에, 제3 부분(33)에 대응되는 영역의 차선 정보를 추출하여 결합함으로써 생성될 수 있다.
다초점 렌즈(20)가 제1 렌즈(21)와 제2 렌즈(22)로 구분되는 경우, 주행 도로(30)에서 제3 부분(33)은 제1 렌즈(21)와 제2 렌즈(22) 각각을 통하여 입력되는 입력 영상(10)에 보이지 아니하는 음영 영역에 해당될 수 있다. 따라서, 다초점 렌즈(20)에 의하여 주행 도로(30)를 인식하기 위해서는 제3 부분(33)에 대한 영상이 추측 또는 보간되어 전체 주행 도로(30)에 대한 영상이 복원될 수 있다.
주행도로 완성단계(S470)에는 제1 영역(11) 및 제2 영역(12)의 차선 정보들(111, 121)을 선형 보간하여 제3 부분(33)에 대응되는 차선 정보를 추출하여 결합하여, 주행 도로 정보를 생성할 수 있다. 선형 보간에 의하여 제3 부분(33)에 대한 영역의 정보를 생성함으로써, 비교적 간단하게 음영 영역에 해당하는 제3 부분(33)에 대한 정보를 얻을 수 있게 된다.
곡률정보 추출단계(S480)에는 주행 도로 정보로부터 주행 도로의 곡률 정보를 추출할 수 있다.
한편, 차량의 주행 경로 인식 방법(S400)은 이탈정보 추출단계(S481), 이탈여부 판단단계(S482), 및 이탈 경보단계(S483)를 포함하여, 차량이 주행 도로(30)로부터 이탈되는 경우 경보 또는 그 사실을 외부로 전송할 수 있다.
이탈정보 추출단계(S481)에는 곡률 정보와 차량의 현재 조향 정보로부터 차량의 주행 도로(30)로부터의 이탈 정보를 추출할 수 있다. 이탈여부 판단단계(S482)에는 이탈 정보로부터 차량이 주행 도로(30)로부터 이탈되었는지 여부를 판단한다. 이탈 경보단계(S483)에는 차량이 주행 도로(30)로부터 이탈된 것으로 판단되는 경우에, 경보 또는 이탈 사실을 외부로 전송할 수 있다.
그에 따라, 외부에서 차량이 주행 도로(30)로부터 이탈된 것을 인지하고, 그에 대한 대책을 세울 수 있도록 할 수 있다.
한편, 차량의 주행 경로 인식 방법(S400)은 조향정보 추출단계(S491), 및 조향 제어단계(S492)를 포함하여, 차량이 주행 도로(30)로부터 이탈하지 않도록 제어할 수 있다.
조향정보 추출단계(S491)에는 입력 영상(10)에서의 중심값(Os)과 주행 도로(30)의 곡률 정보의 차이로부터 차량의 목표 조향 정보를 추출할 수 있다. 조향 제어단계(S492)에는 목표 조향 정보에 따라 차량의 조향을 제어할 수 있다.
본 발명에 따르면, 하나의 이미지 센서를 통하여 서로 다른 초점에 의한 복수의 영상을 입력받아 차량의 주행 경로를 인식함으로써, 차량의 주행 경로 인식 성능을 향상시킬 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
10: 입력 영상, 11: 제1 영역,
12: 제2 영역, 20: 다초점 렌즈,
21: 제1 렌즈, 22: 제2 렌즈,
500: 차량의 주행 경로 인식 장치(500), 510: 영상 입력부,
520: 제어부, 521: 영상 처리부,
522: 주행 도로 인식부, 523: 제어 연산부,
530: 조향 제어부.

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 각각 다초점 렌즈의 서로 다른 초점 영역을 통하여 입력되는 제1 영역과 제2 영역을 포함하는 입력 영상을 입력받는 단계;
    상기 입력 영상에서 상기 제1 영역과 상기 제2 영역을 추출하는 단계;
    상기 제1 영역 및 상기 제2 영역에서 차선 정보를 추출하는 단계;
    상기 차선 정보로부터 주행 도로 정보를 생성하는 단계;
    상기 주행 도로 정보로부터 주행 도로의 곡률 정보를 추출하는 단계;
    상기 곡률 정보와 차량의 현재 조향 정보로부터 상기 차량의 상기 주행 도로로부터의 이탈 정보를 추출하는 단계; 및
    상기 차량이 상기 주행 도로로부터 이탈된 것으로 판단되는 경우에, 경보 또는 이탈 사실을 외부로 전송하는 단계;를 포함하는 차량의 주행 경로 인식 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 각각 다초점 렌즈의 서로 다른 초점 영역을 통하여 입력되는 제1 영역과 제2 영역을 포함하는 입력 영상을 입력받는 영상 입력부;
    상기 입력 영상에서 상기 제1 영역과 상기 제2 영역을 추출하고, 상기 제1 영역 및 상기 제2 영역에서 차선 정보를 추출하는 영상 처리부; 및
    상기 차선 정보로부터 주행 도로 정보를 생성하는 주행 도로 인식부;를 포함하며,
    상기 주행 도로 인식부가, 상기 주행 도로 정보로부터 주행 도로의 곡률 정보를 추출하며,
    상기 곡률 정보와 차량의 현재 조향 정보로부터 상기 차량의 상기 주행 도로로부터의 이탈 정보를 추출하는 제어 연산부;
    상기 차량이 상기 주행 도로로부터 이탈된 것으로 판단되는 경우에, 경보를 발하는 경보부; 및
    상기 차량이 상기 주행 도로로부터 이탈된 것으로 판단되는 경우에, 이탈 사실을 외부로 전송하는 통신부;를 더 구비하는 차량의 주행 경로 인식 장치.
KR1020100108795A 2010-11-03 2010-11-03 차량의 주행 경로 인식 방법 및 장치 KR101473426B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100108795A KR101473426B1 (ko) 2010-11-03 2010-11-03 차량의 주행 경로 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108795A KR101473426B1 (ko) 2010-11-03 2010-11-03 차량의 주행 경로 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120047104A KR20120047104A (ko) 2012-05-11
KR101473426B1 true KR101473426B1 (ko) 2014-12-16

Family

ID=46265982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108795A KR101473426B1 (ko) 2010-11-03 2010-11-03 차량의 주행 경로 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101473426B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2763451T3 (es) * 2015-07-24 2020-05-28 Lucobit Ag Marcado de calzada eléctricamente conductor y carretera con marcado de calzada eléctricamente conductor
KR102124384B1 (ko) * 2018-03-15 2020-06-18 주식회사 비앤씨플러스 자율주행을 위한 차로 인식 차선 및 이를 이용한 차로 유지 지원 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100773870B1 (ko) * 2006-07-07 2007-11-06 주식회사 피엘케이 테크놀로지 2대의 카메라를 이용한 차선인식 방법
US20080111075A1 (en) * 2006-11-15 2008-05-15 Valeo Vision Photosensitive sensor in the automotive field
KR100901411B1 (ko) * 2007-09-12 2009-06-05 현대자동차주식회사 차량의 차선 유지 지원시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100773870B1 (ko) * 2006-07-07 2007-11-06 주식회사 피엘케이 테크놀로지 2대의 카메라를 이용한 차선인식 방법
US20080111075A1 (en) * 2006-11-15 2008-05-15 Valeo Vision Photosensitive sensor in the automotive field
KR100901411B1 (ko) * 2007-09-12 2009-06-05 현대자동차주식회사 차량의 차선 유지 지원시스템 및 그 방법

Also Published As

Publication number Publication date
KR20120047104A (ko) 2012-05-11

Similar Documents

Publication Publication Date Title
CN109649384B (zh) 一种泊车辅助方法
US11756316B2 (en) Vehicular lane keeping system
US7710246B2 (en) Vehicle driving assist system
JP5962850B2 (ja) 信号認識装置
CN108928343A (zh) 一种全景融合自动泊车系统及方法
TWI401175B (zh) Dual vision front vehicle safety warning device and method thereof
JP4425495B2 (ja) 車外監視装置
JP5782708B2 (ja) 走行支援装置
JP5966747B2 (ja) 車両走行制御装置及びその方法
WO2019116958A1 (ja) 車載環境認識装置
JP4714104B2 (ja) 物体傾き検出装置
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
WO2018116841A1 (ja) 物体検出装置
JP4721278B2 (ja) 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置
JP2018048949A (ja) 物体識別装置
JP2019067116A (ja) 立体物接地判定装置
WO2017056724A1 (ja) 周辺認識装置
US11332124B2 (en) Vehicular control system
JP4695566B2 (ja) 車線逸脱判定装置および車線逸脱回避システム
JP2008130059A (ja) 先行車両離脱判定装置
JP4848644B2 (ja) 障害物認識システム
JP3440956B2 (ja) 車両用走行路検出装置
JP2012103858A (ja) 障害物認識装置
KR101473426B1 (ko) 차량의 주행 경로 인식 방법 및 장치
JP6690904B2 (ja) 自動走行車両

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 6