JP6731071B2 - 車両制御装置及び方法 - Google Patents

車両制御装置及び方法 Download PDF

Info

Publication number
JP6731071B2
JP6731071B2 JP2018556137A JP2018556137A JP6731071B2 JP 6731071 B2 JP6731071 B2 JP 6731071B2 JP 2018556137 A JP2018556137 A JP 2018556137A JP 2018556137 A JP2018556137 A JP 2018556137A JP 6731071 B2 JP6731071 B2 JP 6731071B2
Authority
JP
Japan
Prior art keywords
vehicle
mirror surface
control
recognition
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018556137A
Other languages
English (en)
Other versions
JPWO2018109918A1 (ja
Inventor
雄悟 上田
雄悟 上田
麻衣子 足立
麻衣子 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2018109918A1 publication Critical patent/JPWO2018109918A1/ja
Application granted granted Critical
Publication of JP6731071B2 publication Critical patent/JP6731071B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17Using electrical or electronic regulation means to control braking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30Environment conditions or position therewithin
    • B60T2210/32Vehicle surroundings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)

Description

本発明は、カメラで撮影される画像情報に基づいて車両の前方の認識処理を行い、認識結果に基づいて自動運転の走行制御を行う車両制御装置及び方法に関する。
自動運転車両(以下「車両」ともいう。)は、カメラで撮影された画像情報に基づいて車両前方の外界(交通参加者、障害物、道路構造物、レーンマーク、信号機、標識等)を認識しつつ車両制御を行う。ところで、車両が公道を走行していると、タンクローリーのような背面に鏡面(所謂鏡板)を有する先行車両の後方を走行する状況に遭遇することがある。タンクローリーの鏡面は車両後方の外界を映す。つまり、カメラでタンクローリーの鏡面を撮影して得た画像情報は車両前方の外界情報ではなく車両後方の外界情報に相当する。このため、自動運転で車両制御を行う装置(ECU等)は、鏡面内外の画像情報を区別したうえで、車両制御を行う必要がある。
特開2014−191485号公報には、電動車椅子やシニアカーのような小型の電動車両に搭載される障害物検出装置が開示される。この公報の段落[0051]には、床面や金属のような鏡面で反射する光(反射光)が多い場合に画像情報に基づく誤判定を起しやすいため、ドライバに対して注意喚起することが示されている。
仮に特開2014−191485号公報に記載される技術を自動運転車両に使用した場合、鏡面検出時にドライバに対する注意喚起が行われる。しかし、自動運転に関わる処理や制御は何ら変更されない。
本発明はこのような課題を考慮してなされたものであり、前方に鏡面がある場合に自動運転車両を適切に動作させる車両制御装置及び方法を提供することを目的とする。
第1発明は、車両走行の少なくとも一部をドライバによらない自動運転で走行可能な車両に設けられる車両制御装置であって、前記車両の前方を撮影するカメラと、前記カメラで撮影される画像情報に基づいて前記車両の前方の認識処理を行い、認識結果に基づいて自動運転の走行制御を行う制御部とを備え、前記制御部は、前記車両の前方に鏡面を認識しない場合に、前記認識処理として通常処理を行うか、又は、前記走行制御として通常制御を行い、前記車両の前方に鏡面を認識する場合に、前記認識処理として前記通常処理とは異なる鏡面時処理を行うか、又は、前記走行制御として前記通常制御とは異なる鏡面時制御を行うことを特徴とする。
上記構成のように、車両の前方に鏡面を認識する場合に、認識処理として鏡面時処理を行うようにすれば、自動運転に関わる認識処理を適切に行うことができる。また、上記構成のように、車両の前方に鏡面を認識する場合に、走行制御として鏡面時制御を行うようにすれば、自動運転に関わる走行制御を適切に行うことができる。
前記制御部は、前記画像情報に基づいて前記車両の前方に1つの消失点を認識する場合に前記車両の前方に前記鏡面がない状態を認識し、前記車両の前方に複数の消失点を認識する場合に前記車両の前方に前記鏡面がある状態を認識することも可能である。上記構成によれば、車両の前方に鏡面がある状態とない状態とを簡素な手法で判定することができる。
前記制御部は、前記通常制御として自動運転の前記走行制御を行い、前記鏡面時制御として自動運転の前記走行制御を停止することも可能である。上記構成によれば、車両の前方に鏡面がある場合に、運転の主体を車両からドライバに引き継ぐことができる。
前記制御部は、前記通常処理として前記車両の前方のオブジェクトを認識対象とし、前記鏡面時処理として前記車両の前方のうち前記鏡面の外部のオブジェクトを認識対象とすることも可能である。上記構成によれば、車両の前方に鏡面がある場合に、鏡面に含まれるオブジェクト、すなわち車両の後方の外界情報を無視し、鏡面の外部のオブジェクト、すなわち車両の前方の外界情報のみを認識対象とすることができる。
前記制御部は、前記通常処理として前記車両の前方のオブジェクトを認識対象とし、前記鏡面時処理として前記鏡面の外部のオブジェクトを認識対象とすると共に前記鏡面に含まれる特定オブジェクトを認識対象とすることも可能である。上記構成によれば、車両の前方に鏡面がある場合に、鏡面に含まれるオブジェクト、すなわち車両の後方の外界情報のうち有用な情報を利用することができる。
前記制御部は、前記鏡面に含まれるレーンマークの像を認識対象とすることも可能である。上記構成によれば、車両の前方に鏡面がある場合に、鏡面に映るレーンマークの像を利用して車両を制御することができる。
前記制御部は、前記鏡面に含まれるレーンマークの像と前記車両の像を認識対象とし、前記鏡面に含まれる前記レーンマークの像の認識結果と前記鏡面に含まれる前記車両の像の認識結果に基づいて前記車両の位置を前記レーンマーク内に維持する制御を行うことも可能である。上記構成によれば、車両の前方にあるレーンマークを認識できなくても、鏡面から得られるレーンマークの像と車両の像の認識結果を利用して車両の車線維持制御を行うことができる。
第2発明は、車両走行の少なくとも一部をドライバによらない自動運転で走行する車両の前方を撮影し、撮影された画像情報に基づいて前記車両の前方の認識処理を行い、認識結果に基づいて自動運転の走行制御を行う車両制御方法であって、前記車両の前方に鏡面を認識する場合に、前記認識処理として鏡面時処理を行うか、又は、前記走行制御として鏡面時制御を行うことを特徴とする。
上記構成のように、車両の前方に鏡面を認識する場合に、認識処理として鏡面時処理を行うようにすれば、自動運転に関わる認識処理を適切に行うことができる。また、上記構成のように、車両の前方に鏡面を認識する場合に、走行制御として鏡面時制御を行うようにすれば、自動運転に関わる走行制御を適切に行うことができる。
図1は第1〜第3実施形態に係る車両制御装置を備える車両の構成図である。 図2は第1実施形態で行われる走行制御処理のフローチャートである。 図3Aはカメラで普通車両を撮影した画像を示す図であり、図3Bはカメラでタンクローリーを撮影した画像を示す図である。 図4はタンクローリーを撮影した画像のオプティカルフローを部分的に示す図である。 図5は第2実施形態で行われる第1認識処理のフローチャートである。 図6は車両前方の画像のうち認識する領域と無視する領域とを示す図である。 図7は第3実施形態で行われる第2認識処理のフローチャートである。
以下、本発明に係る車両制御装置及び方法について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。
[1 車両10及び車両制御装置26の構成]
図1を用いて自動運転車両10(以下「車両10」ともいう。)及び車両制御装置26の構成について説明する。本明細書において、自動運転というのは、車両10の走行制御を全て自動で行う「完全自動運転」のみならず、車両10の走行制御を部分的に自動で行う「部分自動運転」や「運転支援」も含む概念である。車両制御装置26は、車両10に設けられ、カメラ28と運転ECU16を有する。車両10は、自動運転を実行するための構成として、外界情報取得装置12と、車両センサ14と、運転ECU16と、駆動力装置18と、操舵装置20と、制動装置22と、報知装置24とを有する。
外界情報取得装置12は、1又は複数のカメラ28と、複数のレーダ30と、複数のLIDAR32と、ナビゲーション装置34と、通信装置36を有する。カメラ28は車両10の前方を撮影する。レーダ30は車両10の周囲に電磁波を照射すると共に電磁波照射に対する反射波を検出する。LIDAR32は車両10の周囲にレーザを照射すると共にレーザ照射に対する散乱光を検出する。なお、カメラ28により撮影される画像情報とレーダ30により取得される検出情報とを融合するフュージョンセンサを用いることも可能である。
ナビゲーション装置34は、地図情報を参照しつつ、衛星測位装置や車両センサ14等の検出情報を用いて車両10の現在位置を測定し、その現在位置からユーザが指定した目的地までの走行経路を生成する。ナビゲーション装置34は、ユーザインタフェースとして、操作スイッチ(タッチパネルを含む)、ディスプレイ及びスピーカを有し、生成された走行経路を表示すると共に、走行経路を音声案内する。
通信装置36は、放送局から送信される情報を受信可能であり、更に、路側機、他車又はサーバ等に設けられる他の通信装置と通信が可能である。通信装置36は、信号機等に係わる情報、他車に係わる情報、交通情報、気象情報及び更新地図情報等を送受信する。
車両センサ14は、車両の各種挙動を検出する複数のセンサを有する。例えば、車両10の速度(車速)を検出する速度(車速)センサ、加減速度を検出する加速度センサ、横Gを検出する横Gセンサ、車両10の垂直軸周りの角速度を検出するヨーレートセンサ、車両10の向きを検出する方位センサ、車両10の勾配を検出する勾配センサ等を有する。また、車両センサ14は、各操作デバイス(アクセルペダル、ステアリングホイール、ブレーキペダル、シフトレバー、方向指示レバー等)の操作の有無、操作量、操作位置を検出する操作検出センサを含む。例えば、アクセル踏込(開度)量を検出するアクセルペダルセンサ、ステアリングホイールの操作量(操舵角)を検出する舵角センサ、操舵トルクを検出するトルクセンサ、ブレーキ踏込量を検出するブレーキペダルセンサ、シフト位置を検出するシフトセンサ等を有する。
運転ECU16は、1又は複数のECUにより構成され、CPU40と記憶装置42等を有する。本実施形態では、CPU40が記憶装置42に記憶されているプログラムを実行することにより、後述する各機能実現部50、52、54、56、58、60が実現される。なお、集積回路等からなるハードウエアにより各機能実現部50、52、54、56、58、60を実現することもできる。
外界認識部50は、外界情報取得装置12により取得される各種情報に基づいて車両10の前方のオブジェクト(交通参加者、障害物、道路構造物、レーンマーク、停止線、信号機、標識等)を認識する。本実施形態において、外界認識部50は、カメラ28で撮影される画像情報を利用する画像認識部62と鏡面認識部64を有する。
画像認識部62は、カメラ28で撮影される画像情報を用いて画像認識処理を行い、車両10の前方のオブジェクトを認識する。例えば、パターンマッチングを行い、交通参加者、障害物、道路構造物、信号機、標識等の有無及びそれらの位置を認識する。また、ハフ変換等のエッジ抽出やテクスチャ抽出を行い、レーンマーク、停止線等の有無及びそれらの位置を認識する。
鏡面認識部64は、画像中の消失点又はオプティカルフローを検出する。そして、消失点の数又はオプティカルフローの状態から、車両10の前方における鏡面の有無を認識する。すなわち、鏡面認識部64は、自動運転の走行制御中に、車両10の前方に鏡面90がない状態から鏡面90がある状態に変化したことを認識する。
自車位置認識部52は、ナビゲーション装置34により測定される車両10の位置情報に基づいて車両10の現在位置と姿勢を認識する。これとは別に、ナビゲーション装置34を用いずに、衛星測位装置や車両センサ14等の検出情報を用いて車両10の現在位置を測定し、車両10の現在位置と姿勢を認識することも可能である。
軌道生成部54は、ナビゲーション装置34により生成された走行経路に沿って車両10を走行させるために、外界認識部50の認識結果と自車位置認識部52の認識結果に基づいて車両10の目標走行軌道と目標速度を生成する。
車両制御部56は、駆動力装置18と操舵装置20と制動装置22に対して制御指令を出力する。車両制御部56は、自動運転の際に、軌道生成部54で生成された目標走行軌道に沿って目標速度で車両10を走行させるように制御指令を出力し、手動運転の際に、車両センサ14(操作検出センサ)の検出結果に基づいて制御指令を出力する。
報知制御部58は、ドライバに対する報知が必要な場合、例えば自動運転を停止する場合に、報知装置24に対して報知指令を出力する。
自動運転制御部60は、自動運転を統括制御する。自動運転制御部60は、ドライバが行う自動運転スイッチの操作に応じて自動運転を開始させるか、又は、停止させる。また、自動運転制御部60は、自動運転中に車両センサ14によりいずれかの操作デバイスの手動操作が検出された場合に自動運転を停止させる。
駆動力装置18は、駆動力ECUと、エンジン及び/又は駆動モータ等の車両10の駆動源を有する。駆動力装置18は、車両制御部56から出力される制御指令に従って車両10が走行するための走行駆動力(トルク)を生成し、トランスミッションを介し、あるいは直接車輪に伝達する。
操舵装置20は、EPS(電動パワーステアリングシステム)ECUと、EPS装置を有する。操舵装置20は、車両制御部56から出力される制御指令に従って車輪(操舵輪)の向きを変更する。
制動装置22は、例えば、油圧式ブレーキを併用する電動サーボブレーキであって、ブレーキECUと、ブレーキアクチュエータを有する。制動装置22は、車両制御部56から出力される制御指令に従って車輪を制動する。
報知装置24は、報知ECUと、表示装置及び/又は音響装置を有する。報知装置24は、報知制御部58から出力される報知指令に従って手動運転の要求、警告、案内等を報知する。
[2 第1実施形態]
図2、図3A及び図3Bを用いて第1実施形態で行われる一連の処理について説明する。第1実施形態では、鏡面認識部64が車両10の前方に鏡面90を認識する場合に、自動運転制御部60が自動運転の走行制御を停止させる。図2で示す処理の主体は運転ECU16である。運転ECU16は、図2で示す処理を、車両10が動作している間、所定時間毎に繰り返し実行する。
ステップS1において、自動運転中か否かが判定される。自動運転による走行制御が行われている場合(ステップS1:YES)、処理はステップS2に移行する。一方、自動運転による走行制御が行われていない場合(ステップS1:NO)、ステップS2以降の処理は実行されずに処理は一旦終了する。
ステップS2において、運転ECU16はカメラ28で撮影された最新の画像情報を取得する。ステップS3において、鏡面認識部64は鏡面90の有無を認識する。具体的な鏡面認識方法については下記[3]にて説明する。鏡面90の存在が認識される場合(ステップS3:YES)、処理はステップS4に移行する。一方、鏡面90の存在が認識されない場合(ステップS3:NO)、処理はステップS5に移行する。
ステップS3からステップS4に移行した場合、自動運転制御部60は鏡面時制御を行う。ここでは、自動運転制御部60は自動運転を停止する。自動運転の停止は次の手順で行われる。先ず、報知制御部58が報知装置24に対して手動運転を促す旨の報知指令を出力する。ドライバがアクセルペダル等の各操作デバイス又は自動運転スイッチを操作すると、車両センサ14の操作検出センサは検出信号を出力する。運転ECU16が車両センサ14から出力される検出信号を受信すると、自動運転制御部60は自動運転を停止する。一方、ドライバが各操作デバイス又は自動運転スイッチを操作しない場合、自動運転制御部60は鏡面認識部64が鏡面90を認識してから所定時間経過した後に車両制御部56に停車制御を実行させる。車両制御部56は制動装置22に制御指令を出力し、車両10を停車させる。停車後、自動運転制御部60は自動運転を停止する。
ステップS3からステップS5に移行した場合、自動運転制御部60は通常制御を行う。ここでは、自動運転制御部60は自動運転を継続する。
[3 鏡面90の認識方法]
図2のステップS3で行われる鏡面認識方法に関して、図3A、図3Bを用いて第1の方法を説明する。図3Aで示すように、車両10の前方に鏡面90が存在しない場合、例えば、普通車両72(本明細書では鏡面90を有さない車両を意味する。)が存在する場合、画像70の中には1つの消失点76が存在する。図3Aにおいて、消失点76は概ね左右のレーンマーク74、74の延長線上に存在する。一方、図3Bで示すように、車両10の前方に鏡面90が存在する場合、例えば、背面に鏡面90を備えるタンクローリー82が存在する場合、画像80の中には第1消失点86と第2消失点96が存在する。図3Bにおいて、第1消失点86は概ね左右のレーンマーク74、74の延長線上に存在する。一方、第2消失点96は鏡面90の内部であって、概ね左右のレーンマーク74、74の像74´、74´の延長線上に存在する。このように、鏡面90の有無に応じて消失点の数が相違する。単一の消失点(消失点76)が認識される場合に、車両10の前方に鏡面90がない状態と認識でき、複数の消失点(第1消失点86、第2消失点96)が認識される場合に、車両10の前方に鏡面90がある状態と認識できる。
図4を用いて第1の方法とは異なる第2の方法を説明する。図4で示すように、車両10の前方に鏡面90が存在する場合、鏡面90の縁部90eを境に、鏡面90の周囲のオプティカルフロー102と、鏡面90の内部のオプティカルフロー104が互いに逆方向となる。オプティカルフロー104は鏡面90(画像100内の一部領域)の内方に収束し、オプティカルフロー102は鏡面90の外方に発散する。このように、車両10の前方に鏡面90が存在する場合は特異なオプティカルフロー、すなわち、画像100内の一部領域内に収束するオプティカルフロー104と一部領域外に発散するオプティカルフロー102が発生する。オプティカルフロー102、104のパターンが認識されない場合に、車両10の前方に鏡面90がない状態と認識でき、オプティカルフロー102、104のパターンが認識される場合に、車両10の前方に鏡面90がある状態と認識できる。
[4 第2実施形態]
図5及び図6を用いて第2実施形態で行われる一連の処理について説明する。第2実施形態では、鏡面認識部64が車両10の前方に鏡面90を認識する場合に、画像認識部62は車両10の前方のうち鏡面90を含む除外領域112の外部のオブジェクトを認識対象とし、除外領域112の内部のオブジェクトを無視する。図5で示す処理の主体は運転ECU16である。運転ECU16は、図5で示す処理を、車両10が動作している間、所定時間毎に繰り返し実行する。
図5で示すステップS11〜ステップS13の処理は、図2で示すステップS1〜ステップS3の処理と同じである。このため、以下ではステップS11〜ステップS13の説明を省略する。
ステップS13からステップS14に移行した場合、画像認識部62は第1鏡面時処理を行う。ここでは、カメラ28で撮影された車両10の前方のオブジェクトのうち鏡面90に含まれるオブジェクト(鏡面90に映るオブジェクト)を認識対象から除外し、鏡面90の外部に含まれるオブジェクトを認識対象とする。
例えば、鏡面認識部64が鏡面90を認識すると、画像認識部62は、鏡面90を含む除外領域112を特定する。そして、画像110から除外領域112を除いた認識領域114に含まれるオブジェクトの認識処理を行う。又は、画像110に含まれるオブジェクトの認識処理を行った後に、除外領域112に含まれるオブジェクトを認識対象から除外する。以上の処理の結果、軌道生成部54が車両10の目標走行軌道と目標速度を生成する際に、認識領域114に含まれるオブジェクトの認識結果が用いられる一方で、除外領域112に含まれるオブジェクトは無視される。
ステップS13からステップS15に移行した場合、画像認識部62は通常処理を行う。ここでは、カメラ28で撮影された車両10の前方の全オブジェクトを認識対象とする。
[5 第3実施形態]
図7及び図3Bを用いて第3実施形態で行われる一連の処理について説明する。第3実施形態では、鏡面認識部64が車両10の前方に鏡面90を認識する場合に、画像認識部62は車両10の前方のうち鏡面90の外部のオブジェクト及び鏡面90の内部の特定オブジェクトを認識対象とする。図7で示す処理の主体は運転ECU16である。運転ECU16は、図7で示す処理を、車両10が動作している間、所定時間毎に繰り返し実行する。
図7で示すステップS21〜ステップS23の処理は、図2で示すステップS1〜ステップS3の処理と同じである。このため、以下ではステップS21〜ステップS23の説明を省略する。
ステップS23からステップS24に移行した場合、画像認識部62は第2鏡面時処理を行う。ここでは、カメラ28で撮影された車両10の前方のオブジェクトのうち鏡面90に含まれる特定オブジェクト(鏡面90に映る特定オブジェクト)と、鏡面90の外部に含まれるオブジェクトを認識対象とする。特定オブジェクトは任意に設定可能であるが、ここでは、車両10の像10´とレーンマーク74の像74´と車両10の後続車の像(図示せず)を特定オブジェクトとして設定している。
例えば、鏡面認識部64が鏡面90を認識すると、画像認識部62は、鏡面90の位置を特定する。そして、鏡面90の外部領域に含まれるオブジェクトの認識処理を行うと共に、鏡面90の内部領域に含まれる特定オブジェクトの認識処理を行う。又は、画像80に含まれるオブジェクトの認識処理を行った後に、鏡面90に含まれる特定オブジェクト以外のオブジェクトを認識対象から除外する。
軌道生成部54は車両10の目標走行軌道と目標速度を生成する際に、鏡面90の外部に含まれるオブジェクトの認識結果と、鏡面90に含まれる特定オブジェクトの認識結果を用いる。軌道生成部54は、特定オブジェクトの認識結果としてのレーンマーク74の像74´の位置情報と車両10の像10´の位置情報に基づいて、車両10がレーンマーク74の略中央を走行するように目標走行軌道を生成する。車両制御部56は車両10を目標走行軌道に沿って走行させるために、操舵装置20に対して制御指令を出力する。
ステップS23からステップS25に移行した場合、画像認識部62は通常処理を行う。ここでは、カメラ28で撮影された車両10の前方の全オブジェクトを認識対象とする。
[6 第3実施形態の別形態]
タンクローリー82と車両10との車間距離が近い場合、路面上のレーンマーク74自体を認識できない場合がある。外界認識部50は、レーンマーク74を認識できない場合に、レーンマーク74の像74´に基づいて仮想レーンマークを生成してもよい。例えば、像74´の延長線を仮想レーンマークにしてもよいし、像74´の延長線よりも内側であって像74´から所定距離離れた位置に仮想レーンマークを生成してもよい。仮想レーンマークを生成した場合、軌道生成部54は、仮想レーンマークに基づいて目標走行軌道を生成する。
[7 各実施形態のまとめ]
第1〜第3実施形態に係る車両制御装置26は、車両10の前方を撮影するカメラ28と、カメラ28で撮影される画像情報に基づいて車両10の前方の認識処理を行い、認識結果に基づいて自動運転の走行制御を行う運転ECU16(制御部)とを備える。第1実施形態において、運転ECU16は、車両10の前方に鏡面を認識しない場合に、走行制御として通常制御を行い、車両10の前方に鏡面90を認識する場合に、走行制御として通常制御とは異なる鏡面時制御を行う。第2、第3実施形態において、運転ECU16は、車両10の前方に鏡面を認識しない場合に、前記認識処理として通常処理を行い、車両10の前方に鏡面90を認識する場合に、認識処理として通常処理とは異なる鏡面時処理を行う。
また、第1〜第3実施形態に係る車両制御方法は、自動運転の走行制御中であって、且つ、車両10の前方に鏡面90がない状態から鏡面90がある状態に変化したことを認識した場合に、認識処理を通常処理から鏡面時処理に切り替えるか、又は、走行制御を通常制御から鏡面時制御に切り替える。
第1実施形態のように、車両10の前方に鏡面90を認識する場合に、走行制御として鏡面時制御を行うようにすれば、自動運転に関わる走行制御を適切に行うことができる。また、第2、第3実施形態のように、車両10の前方に鏡面90を認識する場合に、認識処理として鏡面時処理を行うようにすれば、自動運転に関わる認識処理を適切に行うことができる。
第1〜第3実施形態において、運転ECU16は、画像情報に基づいて車両10の前方に1つの消失点(消失点76)を認識する場合に車両10の前方に鏡面90がない状態を認識する。一方、車両10の前方に複数の消失点(第1消失点86、第2消失点96)を認識する場合に車両10の前方に鏡面90がある状態を認識する。この構成によれば、車両10の前方に鏡面90がある状態とない状態とを簡素な手法で判定することができる。
第1実施形態において、運転ECU16は、通常制御として自動運転の走行制御を行い、鏡面時制御として自動運転の走行制御を停止する。この構成によれば、車両10の前方に鏡面90がある場合に、運転の主体を車両10からドライバに引き継ぐことができる。
第2実施形態において、運転ECU16は、通常処理として車両10の前方のオブジェクトを認識対象とし、鏡面時処理として車両10の前方のうち鏡面90の外部のオブジェクトを認識対象とする。この構成によれば、車両10の前方に鏡面90がある場合に、鏡面90に含まれるオブジェクト、すなわち車両10の後方の外界情報を無視し、鏡面90の外部のオブジェクト、すなわち車両10の前方の外界情報のみを認識対象とすることができる。
第3実施形態において、運転ECU16は、通常処理として車両10の前方のオブジェクトを認識対象とし、鏡面時処理として鏡面90の外部のオブジェクトを認識対象とすると共に鏡面90に含まれる特定オブジェクトを認識対象とする。この構成によれば、車両10の前方に鏡面90がある場合に、鏡面90に含まれるオブジェクト、すなわち車両10の後方の外界情報のうち有用な情報を利用することができる。
第3実施形態において、運転ECU16は、鏡面90に含まれるレーンマーク74の像74´を認識対象とする。この構成によれば、車両10の前方に鏡面90がある場合に、鏡面90に映るレーンマーク74の像74´を利用して車両10を制御することができる。
第3実施形態において、運転ECU16は、鏡面90に含まれるレーンマーク74の像74´と車両10の像10´を認識対象とし、鏡面90に含まれるレーンマーク74の像74´の認識結果と鏡面90に含まれる車両10の像10´の認識結果に基づいて車両10の位置をレーンマーク74内に維持する制御を行う。この構成によれば、車両10の前方にあるレーンマーク74を認識できなくても、鏡面90から得られるレーンマーク74の像74´と車両10の像10´の認識結果を利用して車両10の車線維持制御を行うことができる。

Claims (4)

  1. 車両走行の少なくとも一部をドライバによらない自動運転で走行可能な車両(10)に設けられる車両制御装置(26)であって、
    前記車両(10)の前方を撮影するカメラ(28)と、
    前記カメラ(28)で撮影される画像情報に基づいて前記車両(10)の前方の認識処理を行い、認識結果に基づいて自動運転の走行制御を行う制御部(16)とを備え、
    前記制御部(16)は、
    自動運転中に、前記車両(10)の前方に、背面に鏡面(90)を備える他車両を認識しない場合に、前記走行制御として通常制御を行い、
    自動運転中に、前記車両(10)の前方に、背面に鏡面(90)を備える他車両を認識する場合に、前記走行制御として前記通常制御とは異なる鏡面時制御を行い、
    前記通常制御として自動運転を継続し、
    前記鏡面時制御として報知装置に対して手動運転を促す旨の報知を行うことを指示した後に、ドライバによる手動運転操作に応じて自動運転を停止する
    ことを特徴とする車両制御装置(26)。
  2. 車両走行の少なくとも一部をドライバによらない自動運転で走行可能な車両(10)に設けられる車両制御装置(26)であって、
    前記車両(10)の前方を撮影するカメラ(28)と、
    前記カメラ(28)で撮影される画像情報に基づいて前記車両(10)の前方の認識処理を行い、認識結果に基づいて自動運転の走行制御を行う制御部(16)とを備え、
    前記制御部(16)は、
    前記画像情報に基づいて前記車両(10)の前方に1つの消失点(76)を認識する場合に前記車両(10)の前方に鏡面(90)がない状態を認識し、前記認識処理として通常処理を行うか、又は、前記走行制御として通常制御を行い、
    前記車両(10)の前方に複数の消失点(86、96)を認識する場合に前記車両(10)の前方に前記鏡面(90)がある状態を認識し、前記認識処理として前記通常処理とは異なる鏡面時処理を行うか、又は、前記走行制御として前記通常制御とは異なる鏡面時制御を行う
    ことを特徴とする車両制御装置(26)。
  3. 車両走行の少なくとも一部をドライバによらない自動運転で走行可能な車両(10)に設けられる車両制御装置(26)であって、
    前記車両(10)の前方を撮影するカメラ(28)と、
    前記カメラ(28)で撮影される画像情報に基づいて前記車両(10)の前方の認識処理を行い、認識結果に基づいて自動運転の走行制御を行う制御部(16)とを備え、
    前記制御部(16)は、
    前記車両(10)の前方に、背面に鏡面(90)を備える他車両を認識しない場合に、前記車両(10)の前方のオブジェクトを認識対象とし、
    前記車両(10)の前方に、背面に鏡面(90)を備える他車両を認識する場合に、前記車両(10)の前方のオブジェクトのうち前記鏡面(90)に含まれるオブジェクトを認識対象から除外し、前記鏡面(90)の外部に含まれるオブジェクトを認識対象とする
    ことを特徴とする車両制御装置(26)。
  4. 車両走行の少なくとも一部をドライバによらない自動運転で走行可能な車両(10)に設けられる車両制御装置(26)であって、
    前記車両(10)の前方を撮影するカメラ(28)と、
    前記カメラ(28)で撮影される画像情報に基づいて前記車両(10)の前方の認識処理を行い、認識結果に基づいて自動運転の走行制御を行う制御部(16)とを備え、
    前記制御部(16)は、
    前記車両(10)の前方に鏡面(90)を認識しない場合に、前記認識処理として通常処理を行うか、又は、前記走行制御として通常制御を行い、
    前記車両(10)の前方に鏡面(90)を認識する場合に、前記認識処理として前記通常処理とは異なる鏡面時処理を行うか、又は、前記走行制御として前記通常制御とは異なる鏡面時制御を行い、
    前記通常処理として前記車両(10)の前方のオブジェクトを認識対象とし、前記鏡面時処理として前記鏡面(90)の外部のオブジェクトを認識対象とすると共に前記鏡面(90)に含まれる特定オブジェクトを認識対象とし、
    前記鏡面(90)に含まれるレーンマーク(74)の像(74´)と前記車両(10)の像(10´)を認識対象とし、前記鏡面(90)に含まれる前記レーンマーク(74)の像(74´)の認識結果と前記鏡面(90)に含まれる前記車両(10)の像(10´)の認識結果に基づいて前記車両(10)の位置を前記レーンマーク(74)内に維持する制御を行う
    ことを特徴とする車両制御装置(26)。
JP2018556137A 2016-12-16 2016-12-16 車両制御装置及び方法 Expired - Fee Related JP6731071B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/087491 WO2018109918A1 (ja) 2016-12-16 2016-12-16 車両制御装置及び方法

Publications (2)

Publication Number Publication Date
JPWO2018109918A1 JPWO2018109918A1 (ja) 2019-10-24
JP6731071B2 true JP6731071B2 (ja) 2020-07-29

Family

ID=62558487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556137A Expired - Fee Related JP6731071B2 (ja) 2016-12-16 2016-12-16 車両制御装置及び方法

Country Status (4)

Country Link
US (1) US10981597B2 (ja)
JP (1) JP6731071B2 (ja)
CN (1) CN110072750B (ja)
WO (1) WO2018109918A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374919B1 (ko) * 2017-10-16 2022-03-16 주식회사 만도모빌리티솔루션즈 자율주행 지원 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5184028U (ja) 1974-12-26 1976-07-06
JP2001023094A (ja) 1999-07-12 2001-01-26 Nissan Motor Co Ltd 半自動運転システム
JP2007279805A (ja) 2006-04-03 2007-10-25 Matsushita Electric Ind Co Ltd 障害物衝突判断装置および障害物衝突警告システム
JP2012185669A (ja) 2011-03-04 2012-09-27 Toyota Motor Corp 車両検知装置及びこれを用いる車両配光制御装置
WO2014083825A1 (ja) 2012-11-27 2014-06-05 日産自動車株式会社 運転支援装置及び運転支援方法
JP2014191485A (ja) 2013-03-26 2014-10-06 Sharp Corp 障害物検出装置、及びそれを備えた電動車両
JP6163207B2 (ja) * 2013-07-18 2017-07-12 クラリオン株式会社 車載装置
DK2835973T3 (da) * 2013-08-06 2015-11-30 Sick Ag 3D-kamera og fremgangsmåde til registrering af tredimensionale billededata
JP6302205B2 (ja) * 2013-10-07 2018-03-28 矢崎エナジーシステム株式会社 車載器
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법

Also Published As

Publication number Publication date
WO2018109918A1 (ja) 2018-06-21
CN110072750B (zh) 2021-12-28
CN110072750A (zh) 2019-07-30
JPWO2018109918A1 (ja) 2019-10-24
US10981597B2 (en) 2021-04-20
US20190382049A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
US11809194B2 (en) Target abnormality determination device
US10019017B2 (en) Autonomous driving system
CN107817791B (zh) 车辆控制装置
US9880554B2 (en) Misrecognition determination device
JP6677822B2 (ja) 車両制御装置
JP6630267B2 (ja) 車両制御装置
US9550496B2 (en) Travel control apparatus
US10202123B2 (en) Vehicle control system
CN109426244B (zh) 自动驾驶装置
US9896098B2 (en) Vehicle travel control device
US20190347492A1 (en) Vehicle control device
CN110171421B (zh) 车辆控制装置
WO2018105061A1 (ja) 制御装置及び制御方法
JP6631289B2 (ja) 車両制御システム
US20210139019A1 (en) Driving assistance apparatus
US20200051436A1 (en) Vehicle control apparatus and vehicle control method
JP2022013937A (ja) 運転計画装置及び運転計画用コンピュータプログラム
WO2018123217A1 (ja) 外界認識システム
JP7160706B2 (ja) 道路認識装置
JP6731071B2 (ja) 車両制御装置及び方法
CA3069112A1 (en) Parking assistance method and parking assistance device
JP7272257B2 (ja) 車両制御装置
JP7303521B2 (ja) 車両制御装置
US20240300494A1 (en) Vehicle control device, storage medium storing computer program for vehicle control, and method for controlling vehicle
US20240300496A1 (en) Vehicle control device, storage medium storing computer program for vehicle control, and method for controlling vehicle

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20190508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200703

R150 Certificate of patent or registration of utility model

Ref document number: 6731071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees