KR20200007879A - 주행 제어 방법 및 주행 제어 장치 - Google Patents

주행 제어 방법 및 주행 제어 장치 Download PDF

Info

Publication number
KR20200007879A
KR20200007879A KR1020197036582A KR20197036582A KR20200007879A KR 20200007879 A KR20200007879 A KR 20200007879A KR 1020197036582 A KR1020197036582 A KR 1020197036582A KR 20197036582 A KR20197036582 A KR 20197036582A KR 20200007879 A KR20200007879 A KR 20200007879A
Authority
KR
South Korea
Prior art keywords
vehicle
point
trajectory
driving
learning
Prior art date
Application number
KR1020197036582A
Other languages
English (en)
Inventor
야스히토 사노
히로유키 다카노
유이치 다케다
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20200007879A publication Critical patent/KR20200007879A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18145—Cornering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping

Abstract

주행 제어 방법은, 차량에 탑재된 카메라(12a, 12b)로 차량의 주위를 촬영하여 얻어진 화상에 기초하여, 차량이 주행한 지점(CK1 내지 CK4)을 학습하고, 차량으로부터 얻어지는 차량 신호에 기초하여 차량의 주행 궤적을 학습한다. 그리고 카메라(12a, 12b)로 촬영하여 얻어진 화상에 기초하여, 상기 지점(CK1 내지 CK4)을 차량이 통과하였는지 여부를 판단하고, 지점(CK1 내지 CK4) 사이의 목표 궤적(TJ1 내지 TJ4)으로서, 차량 신호에 기초하여 학습한 주행 궤적을 이용하여, 차량의 주행 제어를 행한다.

Description

주행 제어 방법 및 주행 제어 장치
본 발명은 주행 제어 방법 및 주행 제어 장치에 관한 것이다.
종래부터, 서로 상이한 시각에 카메라로 촬영된 물체의, 화상 상의 위치의 차와, 카메라의 이동량에 기초하여, 물체의 3차원 위치를 계측하는 3차원 위치 계측 장치가 알려져 있다(특허문헌 1 참조). 특허문헌 1에서는, 처리 대상의 화상으로부터 추출된 추출 특징점 중, 3차원 위치가 확정된 추출 특징점을 제외한 추출 특징점을, 다음 처리 대상의 화상으로부터 추출되는 특징점과의 대조에 사용함으로써, 처리 시간의 증가를 억제하고 있다.
일본 특허 공개 제2014-106092호 공보
이와 같이, 카메라를 이용하여 주위의 물체(특징점)의 3차원 위치를 계측함으로써, 물체(특징점)의 3차원 위치를 포함하는 지도를 작성할 수 있음과 동시에, 당해 지도 상의, 차량이 통과한 지점을 특정할 수도 있다. 그리고 차량이 주행한 지점을 다시 통과하는 주행 계획을 세우고, 당해 주행 계획에 기초하여 차량의 주행 제어를 행하는 것이 가능해진다.
차량의 주행 제어를 행할 때에 카메라를 이용하여, 지점을 다시 통과하였는지 여부를 정밀도 높게 확인할 수 있다. 그러나 카메라를 이용한 비주얼 오도메트리로 검출되는 차량의 이동량의 검출 정밀도는, 차량으로부터 특징점까지의 거리가 길어질수록 저하되어 버린다. 이 때문에, 지도 상의 이동량과 현실의 이동량 간에 큰 오차가 발생해 버린다. 따라서 비주얼 오도메트리로 검출된 차량의 이동량을 이용하여 차량의 주행 계획을 세우고, 당해 주행 계획을 따라 차량의 주행 제어를 행한 경우, 현실의 환경을 따라 주행하지 못할 우려가 있다.
본 발명은, 이와 같은 종래의 과제를 감안하여 이루어진 것이며, 그 목적은, 현실의 환경을 따라 정확히 주행하는 것이다.
본 발명의 일 양태에 따른 주행 제어 장치의 주행 제어 방법은, 차량에 탑재된 카메라로 차량의 주위를 촬영하여 얻어진 화상에 기초하여, 차량이 주행한 지점을 학습하고, 차량으로부터 얻어지는 차량 신호에 기초하여 차량의 주행 궤적을 학습한다. 그리고 카메라로 촬영하여 얻어진 화상에 기초하여, 지점을 차량이 통과하였는지 여부를 판단하고, 지점 사이의 목표 궤적으로서, 차량 신호에 기초하여 학습한 주행 궤적을 이용하여, 차량의 주행 제어를 행한다.
본 발명의 일 양태에 의하면, 현실의 환경을 따라 정확히 주행할 수 있게 된다.
도 1은 실시 형태에 따른 주행 제어 장치의 전체 구성을 도시하는 기능 블록도이다.
도 2는 학습부(23)의 동작의 일례를 도시하는 흐름도이다.
도 3은 주행 제어부(31)의 동작의 일례를 도시하는 흐름도이다.
도 4a는 카메라(12a, 12b)의 장착 각도(요우각)가 올바른 경우의 직진 상태의 차량의 자세를 도시하는 도면이다.
도 4b는 카메라(12a, 12b)의 장착 각도(요우각)가 경사져 있는 경우의 직진 상태의 차량의 자세를 도시하는 도면이다.
도 4c는 카메라(12a, 12b)의, 차량의 전후 방향의 장착 위치가 올바른 경우의 차량의 선회 궤적을 도시하는 도면이다.
도 4d는 카메라(12a, 12b)의, 차량의 전후 방향의 장착 위치가 어긋나 있는 경우의 차량의 선회 궤적을 도시하는 도면이다.
도 5는 오토 캘리브레이션의 수순의 일례를 도시하는 흐름도이다.
도 6a는 비주얼 오도메트리로 학습한 지도 상에 있어서의, 특징점(FP1 내지 FP4)에 대한 체크 포인트(CK1 내지 CK4)의 상대 위치, 각 특징점(FP1 내지 FP4) 간의 상대 위치, 체크 포인트(CK1 내지 CK4)로부터의 목표 궤적(차량 오도메트리: TJ1 내지 TJ4)을 도시하는 도면이다.
도 6b는 실제의 차량 움직임을 도시하는 도면이며, 특징점(FP1 내지 FP4)에 대한 체크 포인트(CK1 내지 CK4)의 상대 위치, 각 특징점(FP1 내지 FP4) 간의 상대 위치, 체크 포인트(CK1 내지 CK4)로부터의 목표 궤적(차량 오도메트리: TJ1 내지 TJ4)을 도시한다.
다음으로, 도면을 참조하여 실시 형태를 상세히 설명한다.
<주행 제어 장치>
도 1을 참조하여, 실시 형태에 따른 주행 제어 장치의 전체 구성을 설명한다. 주행 제어 장치는, 카메라(12a, 12b)와, 차량 센서(13)와, 카메라(12a, 12b) 및 차량 센서(13)로부터 얻어진 데이터를 기록하는 기록 장치(15)와, 차량의 주행 제어를 실행하는 차량 액추에이터(14)와, 컨트롤러(11)를 구비한다.
카메라(12a, 12b)는, 차량에 탑재된 스테레오 카메라이며, 차량의 주위를 촬상하여 화상 데이터를 생성한다. 카메라(12a, 12b)는, 차량의 주위의 물체를 복수의 상이한 방향에서 동시에 촬영함으로써, 시차 정보에 기초하여 물체의 깊이 정보를 취득할 수 있다. 즉, 카메라(12a, 12b)를 이용하여 차량의 주위의 물체의 3차원 위치를 계측하는 것이 가능해진다. 물론, 단안 카메라로 촬상한 1매의 화상으로부터 거리 정보를 취득하더라도 상관없다.
차량 센서(13)는 차량에 탑재되어, 차량으로부터 얻어지는 다양한 정보(차량 신호)를 검출한다. 차량 센서(13)에는, 예를 들어 차량의 주행 속도(차속)를 검출하는 차속 센서, 차량이 구비하는 각 타이어의 회전 속도를 검출하는 차륜속 센서, 차량의 3축 방향의 가속도(감속도를 포함함)를 검출하는 3축 가속도 센서(G 센서), 조타각(전타각을 포함함)을 검출하는 조타각 센서, 차량에 생기는 각속도를 검출하는 자이로 센서, 요우 레이트를 검출하는 요우 레이트 센서가 포함된다.
차량 액추에이터(14)는, 차량의 주행에 관한 액셀러레이터, 브레이크, 스티어링의 조작을 실행하는 구동부이다. 차량 액추에이터(14)에는, 예를 들어 액셀러레이터 페달을 조작하는 액셀러레이터 페달 액추에이터, 제동력을 제어하는 브레이크 액추에이터, 타각을 제어하는 스티어링 액추에이터가 포함된다.
컨트롤러(11)는, 카메라(12a, 12b) 및 차량 센서(13)에 의하여 얻어지는 데이터에 기초하여, 차량이 통과한 지점 및 주행 궤적을 학습하고, 학습 결과에 기초하여 차량 액추에이터(14)를 제어함으로써 차량의 주행 제어를 행한다. 또한 본 실시 형태에 있어서 실행하는 주행 제어는, 학습한 주행 궤적에 기초하여 주행하도록 제어되면 되며, 액추에이터(14) 중, 액셀러레이터 페달 액추에이터, 브레이크 액추에이터, 스티어링 액추에이터 중 적어도 어느 하나가 제어되고 있으면 된다. 또한 주행 제어에 있어서는, 탑승원의 개입 없이 차량을 주행시키는 자동 운전, 드라이버의 개입에 기초하여 차량을 주행시키는 수동 운전에 이용할 수 있다. 수동 운전에 이용하는 경우에는, 주행 궤적에 기초하여 주행할 수 있도록 탑승원의 개입을 어시스트한다.
컨트롤러(11)는, CPU(중앙 처리 장치), 메모리 및 입출력부를 구비하는 범용 마이크로컴퓨터를 이용하여 실현 가능하다. 컨트롤러(11)에는, 주행 제어 장치로서 기능시키기 위한 컴퓨터 프로그램(주행 제어 프로그램)이 인스톨되어 메모리에 기억되어 있다. 컴퓨터 프로그램을 실행함으로써 컨트롤러(11)는, 주행 제어 장치가 구비하는 복수의 정보 처리 회로(21, 22, 23, 31)로서 기능한다. 또한 실시 형태에서는, 소프트웨어에 의하여, 주행 제어 장치가 구비하는 복수의 정보 처리 회로(21, 22, 23, 31)를 실현하는 예를 나타내지만, 물론 이하에 나타내는 각 정보 처리를 실행하기 위한 전용 하드웨어를 준비하여 정보 처리 회로(21, 22, 23, 31)를 구성하는 것도 가능하다. 또한 복수의 정보 처리 회로(21, 22, 23, 31)를 개별 하드웨어에 의하여 구성해도 된다. 또한 정보 처리 회로(21, 22, 23, 31)는, 차량에 관한 다른 제어에 이용하는 전자 제어 유닛(ECU)과 겸용해도 된다.
컨트롤러(11)는 복수의 정보 처리 회로로서 화상 취득부(21)와 차량 신호 취득부(22)와 학습부(23)와 주행 제어부(31)를 구비한다. 학습부(23)는 체크 포인트 학습부(29)와 차량 오도메트리 학습부(30)를 구비한다. 주행 제어부(31)는 통과 확인부(24)와 목표 궤적 설정부(25)와 차량 제어부(26)를 구비한다.
기록 장치(15)는, 학습부(23)에 의한 학습 결과를 저장하는 궤적 화상 기록부(27) 및 궤적 기록부(28)를 구비한다. 궤적 화상 기록부(27)에는, 체크 포인트 학습부(29)에 의한 학습 결과가 기록되고, 궤적 기록부(28)에는, 차량 오도메트리 학습부(30)에 의한 학습 결과가 기록된다.
화상 취득부(21)는, 카메라(12a, 12b)의 촬영에 의하여 얻어진 화상 데이터를 취득한다. 상세하게는, 화상 취득부(21)는 화상 데이터와 함께, 그의 촬영 타이밍을 나타내는 타임 스탬프도 동시에 취득한다. 차량 신호 취득부(22)는 차량 센서(13)로부터의 검출 결과를, 차량으로부터 얻어지는 차량 신호로서 취득한다. 상세하게는, 차량 신호 취득부(22)는 차량 신호와 함께, 그의 검출 타이밍을 나타내는 타임 스탭도 동시에 취득한다. 촬상 타이밍 및 검출 타이밍의 각각을 나타내는 타임 스탭을 화상 데이터 및 차량 신호와 함께 수신함으로써, 화상 데이터 및 차량 신호를 시간축에 따라 관련짓는 것이 가능해진다.
학습부(23)(학습 회로)는, 차량이 주행한 지점(체크 포인트)과 주행 궤적을 동시에 병행하여 학습할 수 있다.
체크 포인트 학습부(29)는 카메라(12a, 12b)의 화상 데이터에 기초하여 지도, 그리고 지도 상에 있어서의 차량의 위치 및 차량의 주행 궤적을 산출한다. 산출 방법은 딱히 불문이며, 기존의 방법을 이용할 수 있다. 예를 들어 먼저, 카메라(12a, 12b)의 화상 중에서 특징점을 각각 추출하고, 특징점의 스테레오 매칭 처리 및 시차 정보에 기초하여 특징점의 3차원 위치를 특정한다. 그리고 차량이 주행하면서 반복하여 촬상을 행하고, 프레임(화상) 간에서 특징점의 매칭 처리를 행함으로써, 차량의 주행 궤적을 산출할 수 있다. 이들 매칭 처리에 의하여 체크 포인트 학습부(29)는, 복수의 프레임으로부터 추출된 복수의 특징점의 3차원 위치를 하나의 지도(환경 맵을 포함함) 상에 나타낼 수 있다. 또한 동시에, 지도 상에 있어서의 차량의 위치 및 차량의 주행 궤적을 특정할 수도 있다. 또한 카메라(12a, 12b)의 화상에 기초하여 산출되는 차량의 주행 궤적을 「비주얼 오도메트리(VO)」라 칭한다.
또한, 체크 포인트 학습부(29)는 카메라(12a, 12b)의 화상 데이터에 기초하여, 차량이 주행한 지점(체크 포인트)을 학습한다. 구체적으로는 체크 포인트를, 당해 지점을 차량이 통과하였을 때에 촬영한 화상에 기초하여 학습한다. 예를 들어 체크 포인트 학습부(29)는, 당해 화상으로부터 추출된 특징점의, 화상 상의 위치, 또는 특징점의 3차원 위치에 기초하여 체크 포인트를 학습하면 된다.
지도, 체크 포인트에 관한 화상 데이터, 및 특징점의 위치 정보를 포함하는 체크 포인트 학습부(29)의 학습 결과는 궤적 화상 기록부(27)에 기록된다.
차량 오도메트리 학습부(30)는, 차량 센서(13)에 의하여 검출된 차량 신호에 기초하여 차량의 주행 궤적을 산출하여 학습한다. 주행 궤적의 산출 방법은 딱히 불문이며, 기존의 방법을 이용할 수 있다. 예를 들어 좌우의 타이어의 회전 각도의 차로부터 요우 레이트를 산출하고, 요우 레이트를 적분함으로써 차량의 요우각(차량의 자세, 진행 방향을 포함함)을 산출하면 된다. 물론 요우 레이트 센서를 이용하더라도 상관없다. 또한 차량이 구비하는 타이어의 회전량으로부터 차량의 이동량을 산출할 수 있다. 차량 신호에 기초하여 산출되는 차량의 주행 궤적을 「차량 오도메트리」라 칭한다. 차량의 주행 궤적을 포함하는 학습 결과는 궤적 기록부(28)에 기록된다. 또한 차량 오도메트리 학습부(30)는 체크 포인트 사이별로 분할하여 주행 궤적을 학습해도 되고, 분할하지 않고 차량 궤적을 학습하도록 해도 된다. 분할할 때에는 소정 시간마다여도 되고 씬마다(예를 들어 직진, 커브, 고속 도로, 일반 도로, 교차점)여도 되며, 분할하는 방법은 불문이다.
또한 체크 포인트 학습부(29) 및 차량 오도메트리 학습부(30)는, 차량의 주행 중에 병행하여 체크 포인트 및 주행 궤적(차량 오도메트리)을 학습할 수 있다. 체크 포인트 및 주행 궤적(차량 오도메트리)을 동시에 학습해도 되고, 어느 한쪽을 다른 쪽보다도 먼저 학습하더라도 상관없다.
이와 같이 하여 학습부(23)는 체크 포인트와 주행 궤적(차량 오도메트리)을 동시에 병행하여 학습할 수 있다.
주행 제어부(31)(주행 제어 회로)는, 학습부(23)가 학습한 체크 포인트, 및 체크 포인트 사이의 주행 궤적에 기초하여 차량의 주행 제어를 행한다. 구체적으로는 체크 포인트를 다시 통과하였는지 여부를 확인하고, 체크 포인트 사이의 목표 궤적으로서, 차량 신호에 기초하여 학습한 주행 궤적(차량 오도메트리)을 이용하여, 차량의 주행 제어를 행한다.
주행 제어부(31)는 유저로부터의 지시에 기초하여, 학습부(29)에 의하여 작성된 지도 상에 있어서 차량의 주행 계획을 세운다. 주행 계획에는 출발지(현재지를 포함함), 목적지, 및 출발지로부터 목적지까지의 주행 경로 상에서 통과하는 체크 포인트가 포함된다. 주행 제어부(31)는 주행 계획에 따라 차량의 주행 제어를 행한다.
통과 확인부(24)는, 체크 포인트를 차량이 통과하였는지 여부를 판단한다. 구체적으로는 먼저, 체크 포인트를 통과하였을 때의 화상(기록 화상), 및 기록 화상 중의 특징점의 위치 정보를 궤적 화상 기록부(27)로부터 판독한다. 그리고 주행 제어 시에 촬영된 화상(대상 화상) 중의 특징점과, 기록 화상 중의 특징점의 대응짓기를 행한다. 대응짓기에 성공한 특징점이 소정의 조건을 만족시킨 경우, 체크 포인트에 있어서의 카메라의 위치 및 자세를 주행 제어 시에 재현할 수 있었다고 판단할 수 있다. 즉, 대상 화상은, 기록 화상을 취득하였을 때와 동일한 카메라의 위치 및 자세에 있어서 취득되었다고 판단할 수 있다. 따라서 이 경우, 통과 확인부(24)는, 체크 포인트를 차량이 통과하였다고 판단한다.
화상에 기초하는 체크 포인트의 학습은, 차량의 주위 환경으로부터 추출된 특징점에 결부된 형태로 차량의 위치를 학습하는 것이다. 이 때문에, 학습 결과인 지도 상의 체크 포인트와 현실의 체크 포인트의 오차는 극히 작다. 따라서 주행 제어 시의 체크 포인트의 통과를 높은 재현성에 의하여 확인할 수 있다.
또한 대응짓기에 성공한 특징점이 소정의 조건을 만족시켰는지 여부는, 예를 들어 이하의 방법을 이용하여 판단할 수 있다. 먼저, 기록 화상 중에서 추출된 특징점의 수를 Fs라 한다. 대상 화상 중에서 추출된 특징점 중, 기록 화상 중에서 추출된 특징점과 대응짓기에 성공한 특징점의 수를 Fn이라 한다. 예를 들어 기록 화상과 대상 화상 간에서, 차량에 대한 특징점의 상대 위치의 어긋남이 소정값 미만인 경우, 그 특징점은 대응짓기에 성공하였다고 판단한다. 화상 통과 확신도(Z)를 Z=Fn/Fs로 정의한다. 화상 통과 확신도는, 체크 포인트를 차량이 통과하였을 가능성을 나타낸다. 통과 확인부(24)는, 화상 통과 확신도가 0.8 미만인 경우, 화상 통과 확신도가 낮기 때문에, 대응짓기에 성공한 특징점이 소정의 조건을 만족시키지 못하였다고, 즉, 체크 포인트를 차량이 통과하지 않았다고 판단한다. 통과 확인부(24)는, 화상 통과 확신도가 0.8 이상인 경우, 대응짓기에 성공한 특징점이 소정의 조건을 만족시키고 있다고, 즉, 체크 포인트를 차량이 통과하였다고 판단한다.
또한 통과 확인부(24)는, 차량 신호에 기초하는 주행 궤적(차량 오도메트리)으로부터, 체크 포인트에 있어서의 차량의 자세의 재현성을 추가적으로 확인해도 된다. 체크 포인트를 통과하였을 때의 주행 궤적(차량 오도메트리)을 궤적 기록부(28)로부터 판독하여, 체크 포인트를 통과하였을 때의 차량의 진행 방향(학습 진행 방향)을 특정한다. 그리고 주행 제어 시에 화상에 기초하여 검출된 차량의 진행 방향과, 학습 진행 방향의 대응짓기를 행한다. 통과 확인부(24)는, 대응짓기에 성공한 특징점이 소정의 조건을 만족시키고, 또한 진행 방향의 대응짓기에 성공한 경우, 체크 포인트를 차량이 통과하였다고 판단하더라도 상관없다. 예를 들어 주행 제어 시의 진행 방향과 학습 진행 방향의 각도 차가 5° 이하이면, 진행 방향의 대응짓기에 성공하였다고 판단하면 된다.
또한, 통과 확인부(24)는, 특징점의 대응짓기에 의하여 산출되는 카메라의 오프셋양, 즉, 체크 포인트로부터의 어긋남양이 소정값(2m) 이상인 경우, 화상 통과 확신도가 0(Z=0)이어서 체크 포인트를 차량이 통과하지 않았다고 판단해도 된다. 또는 통과 확인부(24)는, 목표 궤적 설정부(25)에 의하여 설정된 목표 궤적으로부터 차량의 위치까지의 거리를 산출하여, 당해 거리가 소정값(2m) 이상인 경우, 체크 포인트를 차량이 통과하지 않았다고 판단하더라도 상관없다.
목표 궤적 설정부(25)는 체크 포인트 사이의 목표 궤적으로서, 차량 신호를 이용하여 학습한 주행 궤적(차량 오도메트리)을 설정한다. 구체적으로는, 통과 확인부(24)에 의하여 제1 체크 포인트의 통과가 확인된 경우에, 제1 체크 포인트로부터 제2 체크 포인트까지의 주행 궤적을 궤적 기록부(28)로부터 판독하고, 제2 체크 포인트(다음의 체크 포인트)까지의 목표 궤적으로서, 판독한 주행 궤적을 설정한다. 제2 체크 포인트는, 주행 계획에 있어서 제1 체크 포인트 후에 통과할 예정인 체크 포인트이다.
목표 궤적 설정부(25)는, 통과 확인부(24)에 의하여 제1 체크 포인트의 통과가 확인되었을 때의 차량의 위치 및 진행 방향에 기초하여, 목표 궤적에 대한 오프셋양을 산출한다. 제1 체크 포인트의 통과가 확인되었을 때의, 제1 체크 포인트로부터의 차량의 위치의 어긋남양, 및 목표 궤적에 대한 차량의 진행 방향의 어긋남양을, 목표 궤적으로 하는 오프셋양으로서 산출한다. 목표 궤적 설정부(25)는 당해 오프셋양에 기초하여 목표 궤적을 보정한다. 구체적으로는 차량의 위치 및 진행 방향의 어긋남양의 각각이 수정되도록 목표 궤적을 보정한다. 목표 궤적이 보정되지 않으면, 제1 체크 포인트의 통과 확인 시의 차량의 위치 및 진행 방향의 어긋남양은 제2 체크 포인트에 있어서도 이어져 버린다. 오프셋양에 기초하여 목표 궤적을 보정함으로써, 보정 후의 목표 궤적을 따라 차량을 주행시킬 수 있다. 이것에 의하여, 다음 체크 포인트(제2 체크 포인트)를 향하여 차량을 주행시킬 수 있으므로, 다음 체크 포인트(제2 체크 포인트)의 통과 가능성을 높일 수 있다.
차량 제어부(26)는, 목표 궤적 설정부(25)에 의하여 설정되거나 또는 보정된 지점 사이의 주행 궤적과 동일한 궤도를 주행하도록 차량 액추에이터(14)를 제어한다. 구체적인 제어 방법은 불문이며, 기존의 방법을 이용하면 된다. 예를 들어 주행 제어 시의 차량 신호로부터 연산되는 주행 궤적 피드백 제어(예를 들어 PID 제어)를 이용하여 차량 액추에이터(14)를 제어할 수 있다.
<주행 제어 방법>
다음으로, 도 2 및 도 3을 참조하여 주행 제어 장치의 동작예를 설명한다. 먼저, 도 2를 참조하여 학습부(23)의 동작예를 설명한다.
스텝 S01에 있어서, 화상 취득부(21)는 카메라(12a, 12b)를 이용하여 차량의 주위를 촬영하여 화상을 취득한다. 화상 취득부(21)는 카메라(12a, 12b)의 촬영 타이밍을 동기시키고, 또한 소정의 프레임 레이트(1 내지 5FPS)로 반복하여 촬영한다.
스텝 S03으로 진행하여, 체크 포인트 학습부(29)는 카메라(12a, 12b)의 화상 중에서 특징점을 각각 추출한다.
스텝 S05로 진행하여, 체크 포인트 학습부(29)는, 특징점의 스테레오 매칭 처리 및 화상의 시차 정보에 기초하여 특징점의 3차원 위치를 특정한다. 그리고 특징점에 대한 차량의 상대 위치를, 차량이 주행한 지점(체크 포인트)으로서 학습한다. 체크 포인트 학습부(29)는, 체크 포인트에 관한 화상 데이터, 및 특징점의 위치 정보를 포함하는 학습 결과를 궤적 화상 기록부(27)에 기록한다. 본 동작예에 있어서, 프레임(화상) 간에서 특징점의 매칭 처리를 행하지 않아도 된다. 즉, 복수의 프레임으로부터 추출된 복수의 특징점의 3차원 위치를 나타내는 지도는 작성하지 않아도 된다.
스텝 S07로 진행하여, 차량 오도메트리 학습부(30)는, 차량 센서(13)에 의하여 검출된 차량 신호에 기초하여 차량의 주행 궤적을 산출하여 학습한다. 차량 오도메트리 학습부(30)는, 차량의 주행 궤적을 포함하는 학습 결과를 궤적 기록부(28)에 기록한다. 또한 본 동작예뿐 아니라 스텝 S01 내지 S05와 스텝 S07을 동시에 병행하여 실행해도 되고, 스텝 S07을 스텝 S01 내지 S05보다도 전에 실시하더라도 상관없다.
다음으로, 도 3을 참조하여 주행 제어부(31)의 동작예를 설명한다. 스텝 S11에 있어서 통과 확인부(24)는, 체크 포인트를 통과하였을 때의 화상(기록 화상), 및 기록 화상 중의 특징점의 위치 정보를 궤적 화상 기록부(27)로부터 판독한다.
스텝 S13으로 진행하여, 화상 취득부(21)는 카메라(12a, 12b)를 이용하여 차량의 주위를 촬영하여 화상을 취득한다. 화상 취득부(21)는 카메라(12a, 12b)의 촬영 타이밍을 동기시키고, 또한 소정의 프레임 레이트(1 내지 5FPS)로 반복하여 촬영한다.
스텝 S15로 진행하여, 통과 확인부(24)는, 스텝 S13에서 취득한 화상(대상 화상) 중에서 특징점을 각각 추출한다. 스텝 S17로 진행하여, 통과 확인부(24)는, 스텝 S15에 있어서 추출된 특징점과, 판독한 기록 화상 중의 특징점의 대응짓기를 행한다.
스텝 S19로 진행하여, 통과 확인부(24)는 차량 오도메트리로부터 차량의 진행 방향을 산출한다. 스텝 S21로 진행하여, 통과 확인부(24)는 특징점의 대응짓기 결과를 화상 통과 확신도(Z)로서 산출한다. 스텝 S23으로 진행하여, 통과 확인부(24)는, 화상 통과 확신도(Z)가 0.8 이상인지 여부를 판단한다. 또한 통과 확인부(24)는, 체크 포인트를 통과하였을 때의 차량의 진행 방향(학습 진행 방향)과, 스텝 S19에서 산출한 주행 제어 시의 진행 방향을 대비한다. 통과 확인부(24)는, 주행 제어 시의 진행 방향과 학습 진행 방향의 각도 차가 5° 이하인지 여부를 판단한다.
화상 통과 확신도(Z)가 0.8 이상이고 또한 각도 차가 5° 이하인 경우(S23에서 "예"), 체크 포인트를 차량이 통과하였다고 판단하여 스텝 S25로 진행한다. 한편, 화상 통과 확신도(Z)가 0.8 미만이거나 또는 각도 차가 5° 미만인 경우(S23에서 "아니오"), 체크 포인트를 차량이 통과하지 않았다고 판단하여 스텝 S13으로 되돌아간다.
스텝 S25에 있어서, 목표 궤적 설정부(25)는, 체크 포인트의 통과가 확인되었을 때(스텝 S23에서 "예")의 차량의 위치를 기준으로 하여, 다음 체크 포인트까지의 목표 궤적으로서, 스텝 S07에 있어서 학습한 주행 궤적(차량 오도메트리)을 설정한다.
스텝 S27로 진행하여, 목표 궤적 설정부(25)는, 체크 포인트의 통과가 확인되었을 때의 차량의 위치를 기준으로 하여, 목표 궤적에 대한 오프셋양을 산출한다. 구체적으로는, 체크 포인트로부터의 차량의 위치의 어긋남양, 및 목표 궤적에 대한 차량의 진행 방향의 어긋남양을 산출한다. 스텝 S29로 진행하여, 목표 궤적 설정부(25)는, 차량의 위치 및 진행 방향의 어긋남양의 각각이 수정되도록 오프셋양에 기초하여, 스텝 S25에서 설정한 목표 궤적을 보정한다.
스텝 S31로 진행하여, 통과 확인부(24)는 다음 체크 포인트를 설정한다. 구체적으로는, 다음 체크 포인트를 통과하였을 때의 화상(기록 화상), 및 기록 화상 중의 특징점의 위치 정보를 궤적 화상 기록부(27)로부터 판독한다.
스텝 S33으로 진행하여, 차량 제어부(26)는, 스텝 S29에 있어서 보정된 주행 궤적과 동일한 궤도를 주행하도록 차량 액추에이터(14)를 제어한다. 스텝 S35로 진행하여, 주행 제어부(31)는, 주행 계획에 있어서의 목적지에 도달하였는지 여부는 판단하고, 목적지에 도달하기까지 반복하여 스텝 S11 내지 33을 실행한다.
<캘리브레이션>
다음으로, 카메라(12a, 12b)의 장착 위치 및 장착 각도의 캘리브레이션에 대하여 설명한다. 카메라(12a, 12b)의 장착 위치 또는 장착 각도에는 고체 오차가 생긴다. 또한 카메라(12a, 12b)의 장착 위치 및 각도는 주행 거리 또는 주행 시간과 함께 변화될 가능성이 있다. 차량의 주행 제어를 행할 때(온라인 시)의 카메라(12a, 12b)의 장착 위치 또는 장착 각도가, 체크 포인트 및 주행 궤적을 학습할 때(오프라인 시)의 장착 위치 또는 장착 각도로부터 변화될 가능성이 있다.
카메라(12a, 12b)의 장착 위치 또는 장착 각도가 어긋나 있는 경우, 카메라(12a, 12b)의 이동량이 올바르게 구해지더라도 차량의 이동량이 올바르게 구해지지 않는다. 예를 들어 차량의 속도가 동일하더라도 카메라(12a, 12b)의 장착 각도(피치각)가 상이하면, 화상 상에 있어서 특징점의 이동 속도가 변화된다. 이것에 의하여 차량의 이동량에 오차가 생겨 버린다. 이 밖에, 도 4a에 도시한 바와 같이 카메라(12a, 12b)의 장착 각도(요우각)가 올바른 경우, 직진 상태의 차량의 자세를 올바르게 구할 수 있다. 그러나 도 4b에 도시한 바와 같이 장착 각도가 경사져 있는 경우, 차량의 이동을 올바르게 구할 수 없다. 또한 도 4c 및 도 4d에 도시한 바와 같이 카메라(12a, 12b)의 장착 위치가 차량의 전후 방향으로 어긋나 있는 경우, 차량이 선회할 때에 카메라(12a, 12b)의 이동 궤적을 올바르게 구할 수는 있지만 차량의 주행 궤적을 올바르게 구할 수 없다.
그래서, 주행 중에 있어서 카메라(12a, 12b)의 장착 위치 또는 장착 각도의 교정(오토 캘리브레이션)을 행하는 것이 바람직하다. 도 5을 참조하여 오토 캘리브레이션의 수순의 일례를 설명한다.
먼저, 스텝 S51에 있어서, 화상 취득부(21)는 카메라(12a, 12b)를 이용하여 차량의 주위를 촬영하여 화상을 취득한다. 스텝 S53으로 진행하여, 체크 포인트 학습부(29)는 특징점의 스테레오 매칭 처리 및 시차 정보에 기초하여 특징점의 3차원 위치를 특정한다. 그리고 프레임(화상) 간에서 특징점의 매칭 처리를 행함으로써 차량의 주행 궤적(비주얼 오도메트리)을 산출한다. 비주얼 오도메트리로부터 카메라(12a, 12b)의 이동량을 산출한다.
스텝 S55로 진행하여, 차륜속 센서는 각 타이어의 회전 속도를 검출하고, 차량 오도메트리 학습부(30)는 회전 속도를 시간으로 적분함으로써 각 타이어의 회전량을 검출한다. 스텝 S57로 진행하여, 차량 오도메트리 학습부(30)는 자이로 센서를 이용하여 차량의 회전량(요우각)을 검출한다. 스텝 S59로 진행하여, 차량 오도메트리 학습부(30)는 각 타이어의 회전량 및 차량의 회전량(요우각)에 기초하여 차량의 주행 궤적(차량 오도메트리)을 산출한다.
스텝 S61로 진행하여, 컨트롤러(11)는, 캘리브레이션이 가능한 장소를 차량이 주행하고 있는지 여부를 판단한다. 구체적으로는, 비주얼 오도메트리를 구하기 위하여 필요한 수의 특징점을 얻을 수 있는 장소임을 확인한다. 화상 상에 있어서의 휘도 변화가 적은 장소나 광량이 적은 장소를 주행하고 있는 경우, 컨트롤러(11)는, 캘리브레이션이 가능한 장소가 아니라고 판단하여 캘리브레이션의 처리를 중단한다.
또한 비주얼 오도메트리에서는, 프레임 간에서의 특징점의 매칭 처리에 의하여 복수의 특징점을 추적하면서 카메라(12a, 12b)의 진행 방향을 추정한다. 이 때문에, 멀리까지 내다볼 수 없는 장소, 점멸하는 점을 특징점으로 하는 장소, 슬랄롬 등의, 직선형으로 주행할 수 없는 장소이더라도, 복수의 특징점을 이용하여 진행 방향의 계측을 계속할 수 있다.
캘리브레이션이 가능한 장소라고 판단된 경우에는 스텝 S63으로 진행하여, 컨트롤러(11)는, 스텝 S53에서 산출한 차량의 주행 궤적(제1 이동값: 비주얼 오도메트리)과 스텝 S59에서 산출한 차량의 주행 궤적(제2 이동값: 차량 오도메트리)을 비교하여, 비교 결과로서 주행 궤적의 차이를 산출한다. 스텝 S65로 진행하여, 주행 궤적의 차이에 기초하여 카메라(12a, 12b)로부터의 출력값을 보정한다. 카메라(12a, 12b)로부터의 출력값에는, 카메라(12a, 12b)로부터 출력된 화상 상의 특징점의 위치가 포함된다. 구체적으로는 컨트롤러(11)는, 비주얼 오도메트리와 차량 오도메트리의 비교 결과에 기초하여 카메라(12a, 12b)의 장착 위치 및 장착 각도(요우각, 피치각)의 어긋남을 산출한다. 그리고 당해 어긋남이 수정되도록 화상 상의 특징점의 위치를 보정한다. 이것에 의하여, 주행 중에 카메라(12a, 12b)의 캘리브레이션을 실행할 수 있어서 카메라(12a, 12b)의 장착 위치 및 장착 각도를 정확히 특정할 수 있다.
또한 카메라(12a, 12b)로부터의 출력값으로서, 차량의 진행 방향의 출력값, 및 진행 방향에 수직인 방향의 출력값을 보정해도 된다. 이것에 의하여, 차량의 진행 방향에 평행인 방향으로 오차가 발생하였을 때에 수직 방향으로 출력값의 보정을 정확히 실시하는 것이 가능해진다.
또한 카메라(12a, 12b)로부터의 출력값의 보정은 차량의 직진 시에 실행해도 된다. 즉, 도 5의 스텝 S61에 있어서, 차량이 직진 상태인 것을 확인한 후에 처리를 진행시켜도 된다. 구체적으로는, 「차량은 직진하고 있을 때는 정면을 향하고 있다」는 것을 이용하여 카메라(12a, 12b)의 장착 각도(요우각)의 캘리브레이션을 행한다. 차량이 직진 상태인 경우, 화상 상에 있어서 특징점은 일정 움직임을 취하여, 특징점을 놓치는 일 없이 안정적으로 검출할 수 있다. 이 때문에, 비주얼 오도메트리를 이용함으로써, 차량이 직진 상태인지 여부를 고정밀도로 판단할 수 있다. 슬랄롬 주행 시에 있어서도, 국소적으로 직진 상태로 되는 구간을 추출하여 캘리브레이션을 실행할 수 있다. 이것에 의하여 시스템의 가동 시간을 늘릴 수 있다.
이상 설명한 바와 같이, 실시 형태에 의하면 이하의 작용 효과가 얻어진다.
실시 형태에 관한 주행 제어 장치는, 차량의 주위의 물체의 3차원 위치를 포함하는 지도를 작성함과 동시에, 지도 상의 차량이 통과한 지점(체크 포인트), 및 주행 궤적(차량 오도메트리)을 학습하고, 학습한 체크 포인트를 다시 통과하여, 학습한 주행 궤적(차량 오도메트리)을 따라 주행하도록 차량의 주행 제어를 행한다.
실시 형태에서는, 차량으로부터 얻어지는 차량 신호에 기초하여 차량의 주행 궤적(차량 오도메트리)을 학습한다. 차량 오도메트리로 학습한 국소적인 이동량의 정밀도는, 비주얼 오도메트리로 학습한 국소적인 이동량의 정밀도에 비해 높다. 특히 특징점까지의 거리가 긴 화상에 기초하여 학습한 국소적인 이동량의 정밀도는 현저히 저하된다. 그래서, 카메라(12a, 12b)를 이용하여 체크 포인트를 학습하고, 주행 궤적을 차량 오도메트리로 학습한다. 이것에 의하여, 학습한 지점 사이의 주행 궤적(차량 오도메트리)과 현실의 주행 궤적의 오차를 억제하여, 현실의 환경을 따른 정확한 주행 제어를 실행할 수 있게 된다.
또한 실시 형태에 관한 주행 제어 장치는, 차량의 주위의 물체의 3차원 위치를 포함하는 지도를 작성함과 동시에, 지도 상의 차량이 통과한 지점(체크 포인트), 및 통과한 체크 포인트 사이의 주행 궤적(차량 오도메트리)을 학습하고, 학습한 체크 포인트를 다시 통과하여, 학습한 주행 궤적(차량 오도메트리)을 따라 주행하도록 차량의 주행 제어를 행한다.
이것에 의하여, 주행 제어를 행할 때에 체크 포인트 사이의 목표 궤적으로서, 고정밀도의 차량 오도메트리로 학습한 주행 궤적을 이용할 수 있다. 이 때문에, 현실의 주행 궤적으로부터 크게 일탈하는 일이 없으므로 큰 수정 조타가 발생하지 않아서, 높은 재현성으로 주행 궤적을 따라 차량을 주행시킬 수 있다.
화상에 기초하는 지점(체크 포인트)의 학습은, 주위 환경으로부터 추출된 특징점에 결부된 형태로 차량의 위치를 학습하는 것이다. 이 때문에, 학습 결과인 지도 상의 지점과 현실의 지점의 오차는 극히 작다. 따라서 체크 포인트 사이의 주행 궤적의 오차는 체크 포인트의 통과 확인에 의하여 수정할 수 있다. 그러나 비주얼 오도메트리로 학습한 차량의 이동량의 정밀도는, 특징점까지의 거리가 길수록 저하된다. 따라서 비주얼 오도메트리로 주행 궤적을 학습한 경우, 주행 궤적에 포함되는 오차가 커진다. 이 때문에, 지점(체크 포인트)에 있어서 큰 위치 어긋남이 발견되고, 그 후, 큰 수정 조타가 발생해 버린다.
도 6a 및 도 6b에 도시한 바와 같이, 각 특징점(FP1 내지 FP4)까지의 거리가 짧은 차량의 위치를 체크 포인트(CK1 내지 CK4)로 설정함으로써, 체크 포인트(CK1 내지 CK4)의 통과를 정밀도 높게 판단할 수 있다. 한편, 체크 포인트(CK1 내지 CK4) 사이의 목표 궤적(TJ1 내지 TJ4)은, 고정밀도의 차량 오도메트리로 학습한 주행 궤적을 이용한다.
본 실시 형태에 의하면, 체크 포인트 사이의 목표 궤적으로서, 고정밀도의 차량 오도메트리로 학습한 주행 궤적을 이용할 수 있다. 따라서 큰 수정 조타가 발생하지 않아서, 높은 재현성으로 주행 궤적을 따라 차량을 주행시킬 수 있다. 따라서 현실의 환경을 따른 정확한 주행 제어를 실행할 수 있게 된다.
도 6a에 도시한 바와 같이, 비주얼 오도메트리로 학습한 지도 상에 있어서, 특징점(FP1 내지 FP4)에 대한 체크 포인트(CK1 내지 CK4)의 상대 위치는 비주얼 오도메트리에 의하여 정확히 구할 수 있다. 그러나 특징점(FP1 내지 FP4) 간의 상대 위치는 정확하지 않다. 따라서 도 6a에 도시한 바와 같이, 비주얼 오도메트리로 학습한 지도에서는, 체크 포인트(CK1 내지 CK4) 사이의 목표 궤적(TJ1 내지 TJ4)은 서로 비연속으로 된다. 그러나 실제로는, 도 6b에 도시한 바와 같이 체크 포인트(CK1 내지 CK4) 사이의 목표 궤적(TJ1 내지 TJ4)은 연속된 궤도로 되어서, 한번 주행한 궤도를 높은 정밀도로 재현할 수 있다. 즉, 학습한 체크 포인트(CK1 내지 CK4)를 다시 통과하여, 학습한 주행 궤적(TJ1 내지 TJ4)을 따라 주행하도록 차량의 주행 제어를 행할 수 있다. 반대로, 도 6a에 도시하는 지도 상에 있어서 연속된 하나의 궤도로 되도록 체크 포인트(CK1 내지 CK4) 사이의 목표 궤적(도시하지 않음)을 설정한 경우, 실제의 주행 궤적으로부터 크게 일탈해 버려 체크 포인트(CK1 내지 CK4)에 있어서 큰 위치 어긋남이 발견되고, 그 후, 큰 수정 조타가 발생해 버린다.
체크 포인트를 학습할 때에 차량으로부터 얻어지는 차량 신호에 기초하여 체크 포인트 사이의 차량의 주행 궤적을 학습할 수도 있다. 즉, 체크 포인트마다 분할하여 주행 궤적을 학습해도 된다. 혹은, 소정 시간별 또는 주행 씬별(예를 들어 직진, 커브, 고속 도로, 일반 도로, 교차점)로 분할하여 학습해도 된다. 국소적으로 정밀도가 높은 주행 궤적을 학습할 수 있다.
컨트롤러(11)는, 체크 포인트를 통과하였다고 판단하였을 때에 체크 포인트로부터 다음 체크 포인트까지의 주행 궤적(차량 오도메트리)을 목표 궤적으로 설정하고, 체크 포인트를 통과하였다고 판단하였을 때의 차량의 위치 및 진행 방향을 이용하여 목표 궤적을 보정한다. 컨트롤러(11)는, 체크 포인트를 통과하지 않았다고 판단하는 경우에는 설정한 목표 궤적의 보정을 금지한다. 이것에 의하여, 기준 위치가 아닌 차량의 위치로부터 목표 궤적을 보정하는 것을 억제할 수 있다.
컨트롤러(11)는 목표 궤적으로부터 차량의 위치까지의 거리를 산출하여, 거리가 소정값 이상인 경우에는 체크 포인트를 통과하지 않았다고 판단한다. 목표 궤적으로부터 차량의 위치까지의 거리가 소정값 이상인 경우에는 화상 통과 확신도(Z)가 낮을 가능성이 높다. 즉, 체크 포인트를 통과하지 않았을 가능성이 높다. 그래서, 목표 궤적으로부터 차량의 위치까지의 거리가 소정 위치 이상인 경우에는 체크 포인트를 통과하지 않았다고 판단한다. 이것에 의하여 목표 궤적의 보정이 금지되기 때문에, 잘못된 정보(기준 위치가 아닌 차량 위치)로부터 목표 궤적을 보정하는 것을 억제할 수 있다.
이상, 실시 형태에 따라 본 발명의 내용을 설명하였지만 본 발명은 이들 기재에 한정되는 것은 아니며, 다양한 변형 및 개량이 가능한 것은 당업자에게는 자명하다.
12a, 12b: 카메라
23: 학습부(학습 회로)
31: 주행 제어부(주행 제어 회로)
CK1 내지 CK4: 체크 포인트(지점)
FP1 내지 FP4: 특징점
TJ1 내지 TJ4: 목표 궤적

Claims (8)

  1. 차량에 탑재된 카메라로 상기 차량의 주위를 촬영하여 얻어진 화상에 기초하여, 상기 차량이 주행한 지점을 학습하고, 학습한 상기 지점을 다시 통과하도록 상기 차량의 주행 제어를 행하는 주행 제어 방법이며,
    상기 지점을 학습할 때에 상기 차량으로부터 얻어지는 차량 신호에 기초하여 상기 차량의 주행 궤적을 학습하고,
    상기 주행 제어를 행할 때에 상기 카메라로 촬영하여 얻어진 화상에 기초하여, 상기 지점을 상기 차량이 통과하였는지 여부를 판단하고,
    상기 지점 사이의 목표 궤적으로서, 상기 차량 신호에 기초하여 학습한 상기 주행 궤적을 이용하여, 상기 차량의 주행 제어를 행하는,
    주행 제어 방법.
  2. 제1항에 있어서,
    상기 지점을 학습할 때에 상기 차량으로부터 얻어지는 차량 신호에 기초하여 상기 지점 사이의 상기 차량의 주행 궤적을 학습하는,
    주행 제어 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 지점을 통과하였다고 판단하였을 때에 상기 지점으로부터 다음 지점까지의 상기 주행 궤적을 상기 목표 궤적으로 설정하고,
    상기 지점을 통과하였다고 판단하였을 때의 상기 차량의 위치 및 진행 방향을 이용하여 상기 목표 궤적을 보정하고,
    상기 지점을 통과하지 않았다고 판단하는 경우에는 설정한 상기 목표 궤적의 보정을 금지하는,
    주행 제어 방법.
  4. 제3항에 있어서,
    상기 목표 궤적으로부터 상기 차량의 위치까지의 거리를 산출하고,
    상기 거리가 소정값 이상인 경우에는 상기 지점을 통과하지 않았다고 판단하는,
    주행 제어 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 차량의 주위의 화상에 기초하여 상기 차량의 제1 이동값을 검출하고,
    상기 차량으로부터 출력되는 차량 신호에 기초하여 상기 차량의 제2 이동값을 검출하고,
    상기 제1 이동값과 상기 제2 이동값을 비교하고,
    비교 결과에 기초하여 상기 카메라로부터의 출력값을 보정하는,
    주행 제어 방법.
  6. 제5항에 있어서,
    상기 카메라로부터의 출력값으로서, 상기 차량의 진행 방향의 출력값, 및 상기 진행 방향에 수직인 방향의 출력값을 보정하는,
    주행 제어 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 출력값의 보정은 상기 차량의 직진 시에 실행하는,
    주행 제어 방법.
  8. 차량에 탑재된 카메라로 상기 차량의 주위를 촬영하여 얻어진 화상에 기초하여, 상기 차량이 주행한 지점을 학습하는 학습 회로와, 학습한 상기 지점을 다시 통과하도록 상기 차량의 주행 제어를 행하는 주행 제어 회로를 구비하는 주행 제어 장치이며,
    상기 학습 회로는, 상기 차량으로부터 얻어지는 차량 신호에 기초하여 상기 차량의 주행 궤적을 학습하고,
    상기 주행 제어 회로는,
    상기 카메라로 촬영하여 얻어진 화상에 기초하여, 상기 지점을 상기 차량이 통과하였는지 여부를 판단하고,
    상기 지점 사이의 목표 궤적으로서, 상기 차량 신호에 기초하여 학습한 상기 주행 궤적을 이용하여, 상기 주행 제어를 행하는,
    주행 제어 장치.
KR1020197036582A 2017-06-20 2017-06-20 주행 제어 방법 및 주행 제어 장치 KR20200007879A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/022744 WO2018235171A1 (ja) 2017-06-20 2017-06-20 走行制御方法及び走行制御装置

Publications (1)

Publication Number Publication Date
KR20200007879A true KR20200007879A (ko) 2020-01-22

Family

ID=64736921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197036582A KR20200007879A (ko) 2017-06-20 2017-06-20 주행 제어 방법 및 주행 제어 장치

Country Status (10)

Country Link
US (1) US11136034B2 (ko)
EP (1) EP3644293B1 (ko)
JP (1) JP6773223B2 (ko)
KR (1) KR20200007879A (ko)
CN (1) CN110741421B (ko)
BR (1) BR112019027273A2 (ko)
CA (1) CA3067952A1 (ko)
MX (1) MX2019014872A (ko)
RU (1) RU2733198C1 (ko)
WO (1) WO2018235171A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11472419B2 (en) * 2018-03-28 2022-10-18 Hitachi Astemo, Ltd. Vehicle control device
JP7351172B2 (ja) * 2019-09-30 2023-09-27 株式会社アイシン 駐車支援装置
CN111959505B (zh) * 2020-06-29 2022-10-11 阿波罗智能技术(北京)有限公司 车辆巡航控制方法、装置、电子设备和存储介质
JP2022182335A (ja) * 2021-05-28 2022-12-08 株式会社Subaru 車両の車外撮像装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106092A (ja) 2012-11-27 2014-06-09 Fujitsu Ltd ３次元位置計測装置、３次元位置計測方法および３次元位置計測プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243457A (ja) * 2000-03-01 2001-09-07 Nissan Motor Co Ltd 車両用前方画像撮像装置
JP2008174000A (ja) * 2007-01-16 2008-07-31 Toyota Industries Corp 駐車支援装置、駐車支援装置部品、駐車支援方法及び駐車支援プログラム
JP4437556B2 (ja) * 2007-03-30 2010-03-24 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
DE102010023162A1 (de) 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
JP5782708B2 (ja) * 2010-12-03 2015-09-24 日産自動車株式会社 走行支援装置
JP5926645B2 (ja) 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
US9127955B2 (en) * 2013-01-31 2015-09-08 GM Global Technology Operations LLC Adaptive user guidance for navigation and location-based services
DE102013209940A1 (de) * 2013-05-28 2014-12-04 Conti Temic Microelectronic Gmbh Kamerasystem für Fahrzeuge
JP5900448B2 (ja) * 2013-09-30 2016-04-06 トヨタ自動車株式会社 運転支援装置
JP6191570B2 (ja) * 2014-09-25 2017-09-06 トヨタ自動車株式会社 車両の制御装置
US10043091B2 (en) * 2014-12-05 2018-08-07 Magna Electronics Inc. Vehicle vision system with retroreflector pattern recognition
JP6447639B2 (ja) * 2015-01-05 2019-01-09 日産自動車株式会社 目標経路生成装置および走行制御装置
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
JP6815724B2 (ja) * 2015-11-04 2021-01-20 トヨタ自動車株式会社 自動運転システム
CN108431549B (zh) * 2016-01-05 2020-09-04 御眼视觉技术有限公司 具有施加的约束的经训练的系统
US20170253237A1 (en) * 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
US20170329331A1 (en) * 2016-05-16 2017-11-16 Magna Electronics Inc. Control system for semi-autonomous control of vehicle along learned route
US10139823B2 (en) * 2016-09-13 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method and device for producing vehicle operational data based on deep learning techniques
JP6548690B2 (ja) * 2016-10-06 2019-07-24 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
WO2018086761A1 (en) * 2016-11-10 2018-05-17 Rowanalytics Ltd Control apparatus and method for processing data inputs in computing devices therefore
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
CN110383291B (zh) * 2017-04-07 2023-06-13 赫尔实验室有限公司 理解机器学习决策的系统、方法、计算机可读介质
CN110914641B (zh) * 2017-06-14 2024-01-30 御眼视觉技术有限公司 自主导航的导航信息的融合构架和分批对齐
CN109429518B (zh) * 2017-06-22 2022-10-28 百度时代网络技术（北京）有限公司 基于地图图像的自动驾驶交通预测
US20190164007A1 (en) * 2017-11-30 2019-05-30 TuSimple Human driving behavior modeling system using machine learning
KR102619558B1 (ko) * 2018-11-16 2024-01-02 현대모비스 주식회사 자율주행차의 제어시스템 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106092A (ja) 2012-11-27 2014-06-09 Fujitsu Ltd ３次元位置計測装置、３次元位置計測方法および３次元位置計測プログラム

Also Published As

Publication number Publication date
EP3644293A1 (en) 2020-04-29
JPWO2018235171A1 (ja) 2020-04-23
JP6773223B2 (ja) 2020-10-21
CN110741421B (zh) 2021-01-05
EP3644293B1 (en) 2021-08-04
CA3067952A1 (en) 2018-12-27
RU2733198C1 (ru) 2020-09-29
WO2018235171A1 (ja) 2018-12-27
US20200377100A1 (en) 2020-12-03
BR112019027273A2 (pt) 2020-07-14
CN110741421A (zh) 2020-01-31
MX2019014872A (es) 2020-02-07
US11136034B2 (en) 2021-10-05
EP3644293A4 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
CN107084743B (zh) 利用gnss/ins数据的六自由度惯性测量单元的偏移和失准补偿
JP6773223B2 (ja) 走行制御方法及び走行制御装置
JP4938351B2 (ja) 車両用測位情報更新装置
RU2735567C1 (ru) Способ хранения предысторий движения, способ для выработки модели пути движения, способ для оценки локальной позиции и устройство хранения предысторий движения
JP5747787B2 (ja) 車線認識装置
CN109421709A (zh) 车辆的驾驶辅助装置
US10782129B2 (en) Method and system for ascertaining and providing a ground profile
US20180141547A1 (en) Vehicle Stop Position Setting Apparatus and Method
JP2007309757A (ja) 対象物認識装置
JP5618152B2 (ja) 進路案内システム、進路案内方法、及び進路案内プログラム
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP2002259995A (ja) 位置検出装置
CA3032068A1 (en) Self-position estimation method and self-position estimation device
CN107792070A (zh) 车辆的驾驶辅助装置
US20190250628A1 (en) Positioning System for a Mobile Unit, Vehicle and Method for Operating a Positioning System
JP6943127B2 (ja) 位置補正方法、車両制御方法及び位置補正装置
JP6836446B2 (ja) 車両の走行車線推定装置
KR101894052B1 (ko) 차량용 사고영상 기록장치의 차량 속도 측정 장치 및 방법
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
JP6674560B2 (ja) 外界認識システム
JP2019212015A (ja) 車両データの時刻同期装置及び方法
JP7234840B2 (ja) 位置推定装置
JPH1139464A (ja) 車両用画像処理装置
JP5193148B2 (ja) 車両用撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application