JP7388971B2 - 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム - Google Patents

車両制御装置、車両制御方法及び車両制御用コンピュータプログラム Download PDF

Info

Publication number
JP7388971B2
JP7388971B2 JP2020068685A JP2020068685A JP7388971B2 JP 7388971 B2 JP7388971 B2 JP 7388971B2 JP 2020068685 A JP2020068685 A JP 2020068685A JP 2020068685 A JP2020068685 A JP 2020068685A JP 7388971 B2 JP7388971 B2 JP 7388971B2
Authority
JP
Japan
Prior art keywords
vehicle
behavior
predetermined
state
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020068685A
Other languages
English (en)
Other versions
JP2021165080A (ja
Inventor
大輔 橋本
龍介 黒田
哲郎 杉浦
一史 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2020068685A priority Critical patent/JP7388971B2/ja
Priority to US17/218,280 priority patent/US11685405B2/en
Priority to CN202110358969.6A priority patent/CN113492851B/zh
Publication of JP2021165080A publication Critical patent/JP2021165080A/ja
Application granted granted Critical
Publication of JP7388971B2 publication Critical patent/JP7388971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Controls For Constant Speed Travelling (AREA)

Description

本発明は、車両の走行を制御する車両制御装置、車両制御方法及び車両制御用コンピュータプログラムに関する。
車両を自動運転するよう、車両を制御する技術が研究されている。車両を自動運転するためには、車両の周囲に存在する他の物体と車両とが衝突しないように、車両を制御することが求められる。そこで、車両周囲の他の物体の挙動を予測し、その予測結果を利用して車両の走行を制御する技術が提案されている（例えば、特許文献１及び特許文献２を参照）。
例えば、特許文献１に開示された自動運転制御装置は、自車両の周辺車両の行動を予測し、自車両で予測した予測結果と、他の自動運転車両から取得した予測結果とを利用して、自車両の走行制御計画を生成する。
また、特許文献２に開示された運転支援装置は、先行車両の方向指示器の点滅状態、先行車両が走行している車線の位置、先行車両情報、車線消失情報、及び障害物情報に基づいて、自車走行車線の右車線または左車線を走行する先行車両が、自車走行車線に車線変更してくるか否かを予測する。そしてこの運転支援装置は、先行車両が自車走行車線に車線変更していると予測された場合に、ドライバに対して運転支援を行う。
特開２００８－１２３１９７号公報 特開２００８－２５７３５０号公報
上記の技術のように、車両の周囲の他の車両の方向指示器（ターンシグナル）の状態に関する情報を用いることで、他の車両の挙動をある程度予測することが可能である。しかし、ターンシグナルが点滅を始めてから、車線変更が実際に行われるまでのタイムラグはドライバによって異なる。また、ドライバによっては、車線変更が行われる際にターンシグナルが操作されないことがある。そのため、他の車両のターンシグナルの状態に関する情報を用いても、他の車両の挙動の予測精度が必ずしも十分でないことがある。
そこで、本発明は、車両の周囲に位置する他の車両の挙動に関する予測精度を向上可能な車両制御装置を提供することを目的とする。
一つの実施形態によれば、車両の走行を制御する車両制御装置が提供される。この車両制御装置は、車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、一連の画像のそれぞれについて、その画像上で車両周囲の他の車両を含む物体領域を検出する物体検出部と、一連の画像のそれぞれの物体領域に基づいて他の車両を追跡することで、他の車両の軌跡を推定し、推定した軌跡に基づいて、他の車両が実施した所定の行動を検出する追跡部と、一連の画像のそれぞれにおいて検出された物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで、他の車両の信号灯の状態を識別する信号灯状態識別部と、他の車両が追跡されている追跡期間において検出された所定の行動と、その追跡期間において識別された、所定の行動と関連する他の車両の信号灯の状態とに基づいて、他の車両が所定の行動を実施するときの信号灯の状態または他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出する挙動特徴抽出部と、少なくとも一つの挙動特徴情報に従って他の車両の挙動を予測し、予測した他の車両の挙動に基づいて、車両が走行する予定の走行予定経路を設定する運転計画部と、走行予定経路に沿って車両が走行するように車両を制御する車両制御部とを有する。
この車両制御装置において、運転計画部は、他の車両の軌跡に基づいて、他の車両が現在から所定時間先までの間に通ると予測される予測軌跡を求めてその予測軌跡が通る地点のコストを他の地点よりも高く設定するコストマップを生成し、生成したコストマップを少なくとも一つの挙動特徴情報に従って補正することで、予測した車両の挙動を表す補正されたコストマップを求め、補正されたコストマップに従って、走行予定経路上のコストが最小となるように走行予定経路を設定することが好ましい。
また、この車両制御装置において、追跡部は、他の車両が実施した車線変更を他の車両が実施した所定の行動として検出し、挙動特徴抽出部は、他の車両のターンシグナルが点滅した状態に変化したことを、所定の行動と関連する信号灯の状態に変化したこととすることが好ましい。
この場合において、挙動特徴抽出部は、追跡期間において他の車両がターンシグナルを点滅させた回数に対する、ターンシグナルの点滅後に他の車両が車線変更を実施しなかった回数の比である車線変更不実施率を少なくとも一つの挙動特徴情報の一つとして抽出することが好ましい。
そして、信号灯状態識別部が、撮像部により一連の画像よりも後に得られた最新の画像の物体領域からの特徴を第２の識別器に入力することで、他の車両のターンシグナルが点滅状態となったことを識別した場合において、運転計画部は、車線変更不実施率が第１の閾値未満である場合、ターンシグナルにて示される方向に対して他の車両が車線変更したと想定されるときに他の車両が通る個々の地点のコストを第１の値だけ増加させ、一方、車線変更不実施率が第１の閾値以上である場合、ターンシグナルにて示される方向に対して他の車両が車線変更したと想定されるときに通る個々の地点のコストを第１の値よりも小さい第２の値だけ増加するよう、コストマップを補正することが好ましい。
あるいは、この車両制御装置において、挙動特徴抽出部は、追跡期間において他の車両が車線変更を実施した回数に対する、他の車両が車線変更前にターンシグナルを点滅させた回数の比であるターンシグナル点灯率を少なくとも一つの挙動特徴情報の一つとして抽出することが好ましい。
この場合において、信号灯状態識別部が、撮像部により一連の画像よりも後に得られた最新の画像の物体領域からの特徴を第２の識別器に入力することで、他の車両のターンシグナルが消灯状態となったことを識別した場合において、運転計画部は、ターンシグナル点灯率が第２の閾値以上である場合、予測軌跡が通らない個々の地点のコストを所定値だけ低下させ、一方、ターンシグナル点灯率が第２の閾値よりも低い場合、他の車両が車線変更したと想定されるときに通る個々の地点のコストを予測軌跡が通る地点のコストと同じ値に設定するよう、コストマップを補正することが好ましい。
あるいはまた、この車両制御装置において、挙動特徴抽出部は、他の車両が単位時間あたりに車線変更した回数である車線変更発生率を少なくとも一つの挙動特徴情報の一つとして抽出することが好ましい。
この場合において、運転計画部は、車線変更発生率が第３の閾値以下である場合、予測軌跡が通らない個々の地点のコストを所定値だけ低下させ、一方、車線変更発生率が第３の閾値よりも高い場合、他の車両が車線更したと想定されるときに通る個々の地点のコストを予測軌跡が通る地点のコストと同じ値に設定するよう、コストマップを補正することが好ましい。
あるいはまた、この車両制御装置において、挙動特徴抽出部は、追跡期間において他の車両が車線変更前にターンシグナルを点滅させてから他の車両が車線変更を実施するまでの猶予期間の平均値を少なくとも一つの挙動特徴情報の一つとして抽出することが好ましい。
この場合において、第２の識別器は、物体領域内の画素値から求められる特徴が入力されると他の車両の信号灯であるターンシグナルが点滅状態である確信度を出力し、信号灯状態識別部は、確信度が確信度閾値以上である場合、ターンシグナルが点滅状態であると識別し、かつ、猶予期間の平均値が所定の閾値未満である場合、確信度閾値を所定値だけ低下させることが好ましい。
また、車両は、撮像部の撮影領域と異なる他の撮影領域を撮影して第２の画像を生成する第２の撮像部をさらに有し、物体検出部は、第２の画像を第１の識別器に入力することで、第２の画像上で他の車両を含む物体領域を検出し、追跡部は、第２の画像上の物体領域と一連の画像の何れかの物体領域とを照合することで他の車両を追跡することが好ましい。
あるいはまた、車両は、車両の周囲の所定の角度範囲内の角度ごとに、その角度方向に存在する物体までの距離の測定値を含む測距信号を所定の周期ごとに生成する測距部をさらに有し、追跡部は、一連の画像の何れかの取得時点の直前または直後の第１の時点に得られた測距信号においてそのいずれかの画像上の物体領域に相当する角度範囲を特定し、第１の時点における測距信号の特定した角度範囲と、第１の時点よりも後の第２の時点に得られた測距信号とを照合することで、他の車両を追跡することが好ましい。
本発明のさらに他の形態によれば、車両の走行を制御する車両制御方法が提供される。この車両制御方法は、車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、一連の画像のそれぞれについて、画像上で車両周囲の他の車両を含む物体領域を検出し、一連の画像のそれぞれの物体領域に基づいて他の車両を追跡することで、他の車両の軌跡を推定し、推定した軌跡に基づいて、他の車両が実施した所定の行動を検出し、一連の画像のそれぞれにおいて検出された物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで他の車両の信号灯の状態を識別し、他の車両が追跡されている追跡期間において検出された所定の行動と、追跡期間において識別された、所定の行動と関連する他の車両の信号灯の状態とに基づいて、他の車両が所定の行動を実施するときの信号灯の状態または他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出し、少なくとも一つの挙動特徴情報に従って他の車両の挙動を予測し、予測した他の車両の挙動に基づいて、車両が走行する予定の走行予定経路を設定し、走行予定経路に沿って車両が走行するように車両を制御する、ことを含む。
本発明のさらに他の形態によれば、車両の走行を制御するための車両制御用コンピュータプログラムが提供される。この車両制御用コンピュータプログラムは、車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、一連の画像のそれぞれについて、画像上で車両周囲の他の車両を含む物体領域を検出し、一連の画像のそれぞれの物体領域に基づいて他の車両を追跡することで、他の車両の軌跡を推定し、推定した軌跡に基づいて、他の車両が実施した所定の行動を検出し、一連の画像のそれぞれにおいて検出された物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで他の車両の信号灯の状態を識別し、他の車両が追跡されている追跡期間において検出された所定の行動と、追跡期間において識別された、所定の行動と関連する他の車両の信号灯の状態とに基づいて、他の車両が所定の行動を実施するときの信号灯の状態または他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出し、少なくとも一つの挙動特徴情報に従って他の車両の挙動を予測し、予測した他の車両の挙動に基づいて、車両が走行する予定の走行予定経路を設定し、走行予定経路に沿って車両が走行するように車両を制御する、ことを車両に搭載されたプロセッサに実行させるための命令を含む。
本発明に係る車両制御装置は、車両の周囲に位置する他の車両の挙動に関する予測精度を向上することができるという効果を奏する。
車両制御装置が実装される車両制御システムの概略構成図である。 車両に設けられるカメラ及び測距センサの概略配置図である。 車両制御装置の一実施形態である電子制御装置のハードウェア構成図である。 車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 第１の識別器として利用されるDNNの構成の一例を示す図である。 第２の識別器による信号灯状態識別の対象となる他車両が含まれる物体領域の一例を示す図である。 検出物体リストの一例を示す図である。 追跡情報の一例を示す図である。 挙動特徴情報の一例を示す図である。 挙動特徴情報に基づくコストマップ補正の動作フローチャートである。 車両制御処理の動作フローチャートである。
以下、図を参照しつつ、車両制御装置、及び、車両制御装置において実行される車両制御方法ならびに車両制御用コンピュータプログラムについて説明する。この車両制御装置は、例えば、車両周囲の他の車両が有するターンシグナル等の信号灯の状態を識別することでその信号灯の状態が変化したタイミングを検出するとともに、車両周囲の他の車両を追跡して、他の車両が実施した車線変更といった、他の車両の所定の行動を検出して記録する。そしてこの車両制御装置は、他の車両について、記録された所定の高校を実施したタイミングと信号灯の状態が変化したタイミングとに基づいて、他の車両が所定の行動を実施するときの信号灯の状態の特徴を求める。そしてこの車両制御装置は、求めた特徴に従って、車両の走行予定経路の設定に利用される、位置ごとの他の車両が通る可能性をコストで表すコストマップを補正する。
図１は、車両制御装置が実装される車両制御システムの概略構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するための複数のカメラ２－１～２－ｎ(nは2以上の整数)と、車両１０の周囲の物体までの距離を測定するための複数の測距センサ３－１～３－ｍ(mは2以上の整数)と、車両制御装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２－１～２－ｎ及び測距センサ３－１～３－ｍとＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク５を介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図を記憶するストレージ装置をさらに有していてもよい。さらに、車両制御システム１は、GPS受信機といった、衛星測位システムに準拠して車両１０の自己位置を測位するための受信機、他の機器と無線通信するための無線端末、及び、車両１０の走行予定ルートを探索するためのナビゲーション装置などを有していてもよい。
カメラ２－１～２－ｎは、それぞれ、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２－１～２－ｎは、それぞれ、車両１０の周囲の互いに異なる領域を撮影するように車両１０に取り付けられる。そのために、カメラ２－１～２－ｎは、互いに異なる焦点距離を有してもよく、あるいは、撮影方向が互いに異なるように車両１０に取り付けられてもよい。そしてカメラ２－１～２－ｎは、それぞれ、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の周囲の撮影領域を撮影し、その撮影領域が写った画像を生成する。カメラ２－１～２－ｎにより得られた画像は、カラー画像であることが好ましい。
カメラ２－１～２－ｎは、それぞれ、画像を生成する度に、その生成した画像を、車内ネットワーク５を介してＥＣＵ４へ出力する。
測距センサ３－１～３－ｍは、例えば、LiDARあるいはレーダといった、方位ごとに、その方位に存在する物体までの距離を測定可能なセンサとすることができる。そして測距センサ３－１～３－ｍは、それぞれ、車両１０の周囲の互いに異なる測定範囲に存在する物体までの距離を測距可能なように車両１０に取り付けられる。そして測距センサ３－１～３－ｍは、それぞれ、所定の測定周期（例えば1/5秒～1/20秒）ごとに測定範囲内の物体までの距離を測距して、その測距結果を表す測距信号を生成する。
測距センサ３－１～３－ｍは、それぞれ、測距信号を生成する度に、その生成した測距信号を、車内ネットワーク５を介してＥＣＵ４へ出力する。
図２は、車両に設けられるカメラ及び測距センサの概略配置図である。この例では、二つのカメラ２－１～２－２と、六つの測距センサ３－１～３－６が車両１０に設けられている。カメラ２－１は、車両１０の前方領域２０１を撮影するように設けられ、一方、カメラ２－２は、車両１０の後方領域２０２を撮影するように設けられる。また、測距センサ３－１～３－３は、それぞれ、車両１０の左前方領域２０３、左側方領域２０４、左後方領域２０５を測距可能なように設けられる。一方、測距センサ３－４～３－６は、それぞれ、車両１０の右前方領域２０６、右側方領域２０７、右後方領域２０８を測距可能なように設けられる。これにより、車両１０の全周囲が、何れかのカメラにより撮影され、あるいは、何れかのセンサにより測距可能となっている。そのため、矢印２１０に示されるように、他車両が車両１０を追い越す場合でも、ＥＣＵ４は、その他車両を追跡することができる。なお、以下の説明では、図２に示されるカメラ及び測距センサの配置に基づいてＥＣＵ４の動作を説明する。しかし、カメラ及び測距センサの配置はこの例に限られず、例えば、車両１０の左側方領域または右側方領域を撮影するようにカメラが設けられてもよく、車両１０の前方領域または後方領域を測距可能なように測距センサが設けられてもよい。
図３は、車両制御装置の一つの実施形態であるＥＣＵのハードウェア構成図である。ＥＣＵ４は、車両１０を自動運転するよう、車両１０を制御する。本実施形態では、ＥＣＵ４は、カメラ２－１～２－ｎのそれぞれにより得られた時系列の一連の画像、及び、測距センサ３－１～３－ｍのそれぞれにより得られた測距信号から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。
通信インターフェース２１は、通信部の一例であり、ＥＣＵ４を車内ネットワーク５に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク５を介して、カメラ２－１～２－ｎ及び測距センサ３－１～３－ｍと接続される。そして通信インターフェース２１は、カメラ２－１～２－ｎの何れかから画像を受信する度に、受信した画像をプロセッサ２３へわたす。また、通信インターフェース２１は、測距センサ３－１～３－ｍの何れかから測距信号を受信する度に、受信した測距信号をプロセッサ２３へわたす。
メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。なお、メモリ２２は、後述するようにプロセッサ２３が複数の演算ユニットを有する場合に、演算ユニットごとに専用のメモリ回路を有していてもよい。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される車両制御処理において使用される各種のデータ及びパラメータ、例えば、カメラ２－１～２－ｎの何れかから受信した画像、測距センサ３－１～３－ｍの何れかから受信した測距信号、車両制御処理で利用される各識別器を特定するための各種パラメータ、及び、物体の種類ごとの確信度閾値などを記憶する。さらに、メモリ２２は、検出された物体に関する情報を表す検出物体リストといった、車両制御処理の途中で生成される各種のデータを一定期間記憶する。さらにまた、メモリ２２は、地図情報といった車両１０の走行制御に利用される情報を記憶してもよい。
プロセッサ２３は、制御部の一例であり、１個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニット(Graphics Processing Unit, GPU)といった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。
プロセッサ２３は、車両１０が走行している間、所定の周期ごとに車両制御処理を実行して、車両１０を自動運転する。
図４は、車両制御処理に関する、ＥＣＵ４のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、追跡部３２と、信号灯状態識別部３３と、挙動特徴抽出部３４と、運転計画部３５と、車両制御部３６とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。
物体検出部３１は、カメラ２－１～カメラ２－ｎの何れかから画像を受信する度に、受信した最新の画像を物体検出用の第１の識別器に入力することで、その画像に表されている他の車両といった検出対象物体を含む物体領域を検出するとともに、その検出対象物体の種類を特定する。なお、検出対象物体には、他の車両以外に、車両１０の走行制御に影響する物体、例えば、人、道路標識、信号機、車線区画線などの道路標示、及び、道路上のその他の物体などが含まれる。
本実施形態では、物体検出部３１は、第１の識別器として、画像に表された検出対象物体を含む物体領域を検出し、かつ、検出対象物体の種類を識別するように予め学習されたニューラルネットワークを利用する。物体検出部３１が利用するニューラルネットワークは、例えば、Single Shot MultiBox Detector(SSD)、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク（以下、単にCNNと呼ぶ）型のアーキテクチャを持つ、いわゆるディープニューラルネットワーク（以下、単にDNNと呼ぶ）とすることができる。
図５は、第１の識別器として利用されるDNNの構成の一例を示す図である。DNN５００は、画像が入力される入力側に設けられる主幹部５０１と、主幹部５０１よりも出力側に設けられる位置検出部５０２及び種類推定部５０３とを有する。位置検出部５０２は、主幹部５０１からの出力に基づいて、画像上に表された検出対象物体の外接矩形を物体領域として出力する。種類推定部５０３は、主幹部５０１からの出力に基づいて、位置検出部５０２で検出された物体領域に表された検出対象物体の種類ごとの確信度を算出する。なお、位置検出部５０２及び種類推定部５０３は一体的に形成されてもよい。
主幹部５０１は、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するCNNとすることができる。その複数の層には２以上の畳み込み層が含まれる。さらに、主幹部５０１が有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。さらにまた、主幹部５０１が有する複数の層には、１以上の全結合層が含まれてもよい。例えば、主幹部５０１は、SSDのベースレイヤーと同様の構成とすることができる。あるいは、主幹部５０１は、VGG-19、AlexNetあるいはNetwork-In-Networkといった他のCNNアーキテクチャに従って構成されてもよい。
主幹部５０１は、画像が入力されると、その画像に対して各層での演算を実行することで、その画像から算出したfeature mapを出力する。なお、主幹部５０１は、解像度の異なる複数のfeature mapを出力してもよい。例えば、主幹部５０１は、入力された画像の解像度と同じ解像度を持つfeature mapと、入力された画像の解像度よりも低い解像度の１以上のfeature mapを出力してもよい。
位置検出部５０２及び種類推定部５０３には、それぞれ、主幹部５０１から出力されたfeature mapが入力される。そして位置検出部５０２及び種類推定部５０３は、それぞれ、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するCNNとすることができる。位置検出部５０２及び種類推定部５０３のそれぞれについて、CNNが有する複数の層には２以上の畳み込み層が含まれる。また、位置検出部５０２及び種類推定部５０３のそれぞれについて、CNNが有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。なお、CNNが有する畳み込み層及びプーリング層は、位置検出部５０２及び種類推定部５０３について共通化されてもよい。さらに、位置検出部５０２及び種類推定部５０３のそれぞれについて、複数の層には、１以上の全結合層が含まれてもよい。この場合、全結合層は、各畳み込み層よりも出力側に設けられることが好ましい。また全結合層には、各畳み込み層からの出力が直接入力されてもよい。また、種類推定部５０３の出力層は、ソフトマックス関数に従って検出対象物体の種類のそれぞれの確信度を算出するソフトマックス層としてもよいし、シグモイド関数に従って検出対象物体の種類のそれぞれの確信度を算出するシグモイド層としてもよい。
位置検出部５０２及び種類推定部５０３は、例えば、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、検出対象物体の種類のそれぞれの確信度を出力するように学習される。したがって、識別器５００は、画像が入力されることで、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、検出対象物体の種類のそれぞれの確信度を出力する。そして位置検出部５０２及び種類推定部５０３は、何れかの種類の検出対象物体についての確信度が所定の確信度閾値以上となる領域を、その種類の検出対象物体が表された物体領域として検出する。
識別器５００の学習に利用される教師データに含まれる画像（教師画像）には、例えば、検出対象物体の種類（例えば、普通乗用車、バス、トラック、二輪車など）と、検出対象物体が表された物体領域である、その検出対象物体の外接矩形とがタグ付けされる。
識別器５００は、上記のような多数の教師画像を用いて、例えば、誤差逆伝搬法といった学習手法に従って学習される。プロセッサ２３は、このように学習された識別器５００を利用することで、画像から他の車両といった検出対象物体を精度良く検出できる。
物体検出部３１は、さらに、Non-maximum suppression(NMS)処理を実行することで、少なくとも部分的に重複する２以上の物体領域のうち、同一の物体が表されていると推定される物体領域から一つを選択してもよい。
物体検出部３１は、各物体領域の画像上での位置及び範囲と、その物体領域に含まれる物体の種類とを、検出物体リストに登録する。そして物体検出部３１は、検出物体リストをメモリ２２に記憶する。さらに、物体検出部３１は、各物体領域について、その物体領域に含まれる各画素から第１の識別器の主幹部により算出され、かつ、信号灯状態識別部３３へ出力されるfeature mapをメモリ２２に記憶する。なお、信号灯状態識別部３３へ出力されるfeature mapは、第１の識別器に入力された画像の解像度と同じ解像度を有するものとすることができる。また、第１の識別器の主幹部が有するプーリング層などにより、入力された画像の解像度よりも低い解像度を持つfeature mapが算出される場合には、その低い解像度を持つfeature mapが信号灯状態識別部３３へ出力されてもよい。さらに、第１の識別器の主幹部により算出される、互いに異なる解像度を持つ複数のfeature mapが信号灯状態識別部３３へ出力されてもよい。
追跡部３２は、カメラ２－１～２－ｎの何れかにより得られた画像から検出された、車両１０の周囲に位置する他の車両（以下、単に他車両と呼ぶことがある）を追跡することで他車両が通行した軌跡を推定する。そして追跡部３２は、推定した軌跡に基づいて、他車両が実施した、車線変更といった所定の行動を検出する。その際、追跡部３２は、カメラ２－１～２－ｎのそれぞれから得られる画像だけでなく、測距センサ３－１～３－ｍのそれぞれから得られる測距信号も参照して、同一の他車両が各カメラの撮影領域及び各測距センサの測定範囲のうちの二つ以上にわたって移動してもその他車両を追跡する。これにより、追跡部３２は、車両１０の後方から接近して車両１０を追い越す他車両の所定の行動も検出できる。そのため、プロセッサ２３は、そのような他車両の挙動も正確に予測して、車両１０がその他車両と衝突しないように車両１０を制御することができる。
追跡部３２は、何れかのカメラの撮影領域内を移動する他車両を追跡するために、例えば、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、そのカメラにより得られた時系列の一連の画像に適用する。すなわち、追跡部３２は、何れかのカメラにより得られた最新の画像における着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして追跡部３２は、複数の特徴点のそれぞれについて、同じカメラにより得られた過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、追跡部３２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、同じカメラにより得られた最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された他車両を追跡してもよい。
また、追跡部３２は、少なくとも部分的に重複する、何れかのカメラの撮影領域と何れかの測距センサの測定範囲にわたって移動する他車両を追跡してもよい。この場合、追跡部３２は、例えば、カメラの取り付け位置、画角及び光軸方向と、測距センサの取り付け位置、測定範囲及び測定範囲の中心方向を参照して、ある時点の画像上の着目する他車両を含む、画像上の物体領域に相当する、その時点の直前または直後に測距センサにより得られた測定信号における測定方位の角度範囲を特定する。そして追跡部３２は、特定した角度範囲内の個々の方位角度についての測距センサからの距離のうち、互いの距離の差が着目する他車両の種類について想定される基準サイズ以内となる方位角度の集合となる部分にその着目する他車両が含まれると判定する。
また、追跡部３２は、何れか一つの測距センサの測定範囲内を移動する他車両を追跡するために、その測距センサにより得られたある時点の測距信号において特定されている、着目する他車両を含む方位角度の集合部分と、次に得られた測距信号とを照合する。そして追跡部３２は、次に得られた測距信号において、その集合部分との一致度合が所定の閾値以上となる方位角度の集合となる部分に、その着目する他車両が含まれていると判定する。その際、追跡部３２は、例えば、互いに照合される二つの方位角度の集合において対応する方位角についての距離の差の和に基づいて一致度合を求めればよい。同様に、少なくとも部分的に重複する、二つの測距センサの測定範囲にわたって移動する他車両を追跡するために、追跡部３２は、例えば、一方の測距センサにより得られたある時点の測距信号において特定されている、着目する他車両を含む方位角度の集合部分と、他方の測距センサにより、その時点以降に得られた測距信号とを照合する。そして追跡部３２は、他方の測距センサにより得られた測距信号において、その集合部分との一致度合が所定の閾値以上となる方位角度の集合となる部分に、その着目する他車両が含まれていると判定する。
さらに、追跡部３２は、互いに異なるカメラの撮影領域にわたって移動する他車両を追跡するために、一方のカメラにより得られた着目画像上の着目する他車両を含む物体領域と、他方のカメラにより得られた照合対象画像の各物体領域とを照合する。そして追跡部３２は、その物体領域との一致度合が所定の閾値以上となる照合対象画像上の物体領域に、その着目する他車両と同じ他車両が含まれると判定する。この場合、追跡部３２は、例えば、着目画像に対して第１の識別器の主幹部から出力されるfeature mapのうち、着目する他車両の物体領域に含まれる特徴と、照合対象画像に対して第１の識別器の主幹部から出力されるfeature mapのうち、照合する物体領域に含まれる特徴との一致度合を、例えば、正規化相互相関値として算出する。あるいは、追跡部３２は、着目する他車両の物体領域の各画素値または特徴と、照合する物体領域の各画素値または特徴とを、二つの領域のそれぞれに表された物体が互いに同一か否かを判定するように予め学習された識別器に入力することで、着目する他車両と、照合する物体領域に表された物体とが同一か否かを判定してもよい。追跡部３２は、そのような識別器として、例えば、損失関数としてトリプレットロスを使用して学習された、CNN型のアーキテクチャを持つニューラルネットワークを用いることができる。
追跡部３２は、何れかのカメラによる最新の画像から検出された他車両のうち、過去の画像に表された他車両、他のカメラにより得られた画像から検出された他車両及び何れの測距センサによる測距信号から検出された他車両とも対応付けられなかった他車両を新たな追跡対象とする。そして追跡部３２は、その対応付けがなされなかった他車両に対して、他の追跡中の車両と異なる識別番号を割り当て、その割り当てた識別番号を検出物体リストに登録する。一方、追跡部３２は、何れかのカメラによる最新の画像から検出された他車両のうち、過去の画像に表された他車両、他のカメラにより得られた画像から検出された他車両及び何れの測距センサによる測距信号から検出された他車両の何れかと対応付けられた他車両を、追跡中の他車両と判定する。そして追跡部３２は、その追跡中の他車両に割り当てられた識別番号と同じ識別番号を対応付ける。
追跡部３２は、追跡中の各他車両について、その他車両の実空間上の軌跡を求めて、直近の一定期間内において、その他車両が車線変更したタイミング及び車線変更した回数を求める。そのために、追跡部３２は、他車両が表された各画像について、その画像の他車両が含まれる物体領域の画像内座標を、その画像を取得したカメラの車両１０に対する取り付け位置及び撮影方向などの情報を利用して、鳥瞰画像上の座標（鳥瞰座標）に変換する。そして追跡部３２は、一連の鳥瞰座標、及び、何れかの測距センサによる測距信号において他車両が表された方位及び距離に対して、Kalman Filter、拡張Kalman Filter、Unscented Kalman FilterまたはParticle filterなどのベイズフィルタを用いたトラッキング処理を実行することで、車両１０を基準とした、他車両の軌跡を求める。さらに、追跡部３２は、他車両の追跡中に、何れかのカメラにより得られた一連の画像のそれぞれから物体検出部３１が検出した車線区画線と、メモリ２２に記憶されている地図情報とをマッチングすることで、その一連の画像のそれぞれの取得時における車両１０の位置及び姿勢を推定する。そして追跡部３２は、他車両の追跡中に得られたその一連の画像のそれぞれの取得時における、世界座標系で表される車両１０の位置及び姿勢に基づいて、車両１０を基準とする座標系で表される他車両の軌跡を、車両１０を基準とする座標系から世界座標系へ座標変換することで、世界座標系における他車両の軌跡を求めることができる。追跡部３２は、世界座標系における追跡中の他車両の軌跡に含まれる個々の位置と、地図情報に表される各車線の位置とを比較することで、その個々の位置における、その他車両が走行する車線を特定できる。さらに、追跡部３２は、世界座標系における追跡中の他車両の軌跡が地図情報に表される何れかの車線区画線を横切ったときに、その他車両が車線変更したと判定する。追跡部３２は、このようにして、追跡中の各他車両について、車線変更したタイミング及びその車線変更前後において走行した車線を特定できる。そして追跡部３２は、追跡中の各他車両について、追跡が開始された以降における、車線変更の回数、所定の周期ごとの世界座標系での他車両の位置座標、車線変更が実施されたタイミング及びその車線変更における、車線変更の方向を表す情報を追跡情報としてメモリ２２に記憶する。
信号灯状態識別部３３は、追跡中の他車両のターンシグナル等の信号灯の状態を識別する。
例えば、車両は、左折または右折する場合、ターンシグナルを点滅させる。また、車両は、減速する際にブレーキランプを点灯させ、停車する際などにハザードランプを点滅させる。これらターンシグナルまたはブレーキランプといった、車両の信号灯の点灯または点滅は、時系列の車両の外観の変化を伴うものであり、かつ、車両の挙動を推定するための重要な情報を与える。しかし、ターンシグナル、ブレーキランプまたはハザードランプが表された個々の画像では、それらの信号灯の明滅の時系列変化が分からないため、ターンシグナルまたはハザードランプが点滅しているか否か、ブレーキランプが点灯しているか消灯しているかを、ターンシグナル、ブレーキランプまたはハザードランプが表された個々の画像から精度良く識別することは困難である。そこで、信号灯状態識別部３３は、時系列の一連の画像のそれぞれの物体領域内の画素値から求められる特徴を、再帰構造を持つ第２の識別器に入力することで、ターンシグナルまたはハザードランプの点滅の有無、ブレーキランプの点灯及び消灯を精度良く識別する。
本実施形態では、信号灯状態識別部３３は、検出物体リストを参照して、追跡中の他車両を特定する。そして信号灯状態識別部３３は、追跡中の他車両のそれぞれについて、その他車両が表れた画像が何れかのカメラにより得られる度に、その画像上においてその他車両が含まれる物体領域内の画素値から求められる特徴を、再帰構造を持つ第２の識別器に入力する。
信号灯状態識別部３３は、他車両が表された物体領域内の画素値から求められる特徴として、例えば、第１の識別器の主幹部により算出されたfeature mapのうち、その物体領域に含まれるfeatureを利用することができる。これにより、着目する他車両そのものの特徴だけでなく、着目する他車両周囲の環境の特徴も状態識別に利用することが可能となる。本実施形態では、着目する他車両とそれ以外の車両との相対的な位置関係による影響、例えば、着目する他車両のターンシグナル等の一部がそれ以外の車両に隠れているような状況も考慮して、第２の識別器は、着目する他車両の信号灯の状態を識別することができる。例えば、feature mapの解像度が第１の識別器に入力された画像の解像度と同一である場合、その画像上での物体領域と対応する、feature map上の領域内に含まれる各featureが、物体領域内の画素値から求められる特徴となる。また、feature mapの解像度が第１の識別器に入力された画像の解像度よりも低い場合、入力された画像の解像度に対するfeature mapの解像度の比に応じて、物体領域の座標を補正した位置及び範囲が、物体領域に対応する、feature map上の領域となる。例えば、入力された画像上での物体領域の左上端位置及び右上端位置がそれぞれ(tlX, tlY)及び(brX, brY)であり、入力された画像に対して1/N(Nは2以上の整数)のダウンサイジングが行われてfeature mapが算出されているとする。この場合、画像上の物体領域に対応するfeature map上の領域の左上端位置及び右下端位置は、それぞれ、(tlX/N, tlY/N)及び(brX/N, brY/N)となる。
変形例によれば、信号灯状態識別部３３は、第１の識別器に入力された画像上の着目する他車両が表された物体領域内の各画素の値そのものを、第２の識別器に入力する、着目する他車両が表された物体領域内の画素値から求められる特徴としてもよい。あるいは、信号灯状態識別部３３は、その物体領域内の各画素に対して、畳み込み演算といった所定のフィルタ処理を行って得られた値を、第２の識別器に入力する、着目する他車両が表された物体領域内の画素値から求められる特徴としてもよい。
信号灯状態識別部３３は、各物体領域について、抽出した特徴をダウンサンプリングまたはアップサンプリングすることで所定のサイズ（例えば、32×32）にリサイズする。これにより、着目する他車両の追跡の途中で車両１０と着目する他車両間の相対距離が変化して、画像上での着目する他車両のサイズが変化しても、第２の識別器は、入力される特徴を一定のサイズとして扱えるので、第２の識別器の構成が簡単化される。
図６は、第２の識別器による信号灯状態識別の対象となる他車両が含まれる物体領域の一例を示す図である。図６に示される画像６００は、例えば、車両１０の後方領域を撮影するように設けられたカメラ２－２により取得される。そして画像６００において、車両６０１～６０３のそれぞれが、信号灯状態識別の対象となる他車両として検出されている。したがって、車両６０１を含む物体領域６１１、車両６０２を含む物体領域６１２、及び、車両６０３を含む物体領域６１３のそれぞれからの特徴が第２の識別器に入力される。また、図６に示される画像６２０は、例えば、車両１０の前方領域を撮影するように設けられたカメラ２－１により取得される。そして画像６２０において、車両６２１～６２３のそれぞれが、信号灯状態識別の対象となる他車両として検出されている。したがって、車両６２１を含む物体領域６３１、車両６２２を含む物体領域６３２、及び、車両６２３を含む物体領域６３３のそれぞれからの特徴が第２の識別器に入力される。
信号灯状態識別部３３は、再帰構造を持つ第２の識別器として、例えば、Recurrent Neural Network(RNN)、Long Short Term Memory(LSTM)またはGated Recurrent Unit(GRU)といった、再帰的な構造を持つニューラルネットワークを用いることができる。第２の識別器は、物体領域に含まれる特徴を処理すればよいため、第１の識別器と比較して、入力層及び中間層のサイズが小さくて済み、かつ、重み係数といった第２の識別器を規定するためのパラメータ数が少なくて済む。そのため、第２の識別器は、第１の識別器と比較して演算量が少なく、プロセッサ２３に対する演算負荷を小さくすることができる。さらに、第２の識別器の学習に要する演算量も削減される。なお、第１の識別器及び第２の識別器がそれぞれニューラルネットワークとして構成されている場合、共通の教師データを用いて、誤差逆伝搬法によりそれらニューラルネットワークが一体的に学習されてもよい。
第２の識別器は、再帰構造を有しているため、時系列に順次特徴が入力される度に、内部で再帰的に利用される内部状態（中間状態または隠れ状態とも呼ばれる）を更新する。これにより、第２の識別器は、着目する追跡中の他車両の外観の時系列の変化に基づいて、その他車両の信号灯の状態を識別することができる。この内部状態は、メモリ２２に記憶される。そして第２の識別器は、着目する追跡中の他車両についての特徴が入力される度に、メモリ２２から、その他車両に関する最新の内部状態を読み込んで第２の識別器の演算に適用する。
本実施形態では、信号灯状態識別部３３は、上記のように、他車両の信号灯の状態として、左右何れかのターンシグナルまたはハザードランプの点滅状態か否か、ブレーキランプが点灯している状態あるいは消灯している状態かを識別する。そのために、第２の識別器の出力層の活性化関数として、例えば、シグモイド関数が用いられる。これにより、第２の識別器は、各状態の確信度を出力することができる。そして信号灯状態識別部３３は、各状態の確信度を対応する閾値と比較し、他車両の信号灯の状態は、確信度が対応する閾値以上となる状態であると判定する。例えば、着目する他車両の左のターンシグナルが点滅している状態についての確信度が0.8であり、一方、左のターンシグナルが点滅していない状態についての確信度が0.2であるとする。そして閾値が0.5であるとすると、信号灯状態識別部３３は、着目する他車両の信号灯の状態は、左のターンシグナルが点滅している状態であると判定する。
あるいは、第２の識別器の出力層の活性化関数として、ソフトマックス関数が用いられてもよい。この場合には、第２の識別器は、着目する他車両の信号灯の状態として、左のターンシグナルが点滅、右のターンシグナルが点滅、ハザードランプが点滅、ブレーキランプが点灯、あるいはその何れでもないとの判定結果を出力する。したがって、信号灯状態識別部３３は、第２の識別器から出力された判定結果で表される状態を、着目する他車両の信号灯の状態とすればよい。
変形例によれば、信号灯状態識別部３３は、第２の識別器として、時間軸方向の畳み込み演算を実行する、CNN型のアーキテクチャを有するニューラルネットワークを用いてもよい。この場合、第２の識別器は、例えば、直前の層から出力されたfeature mapに対して、時間軸方向に沿って畳み込み演算を実行する畳み込み層（以下、時間特徴畳み込み層と呼ぶ）を一つ以上有する。個々の時間特徴畳み込み層の時間軸方向のカーネルサイズは、例えば、全ての時間特徴畳み込み層を経由することで、一度に入力される複数の特徴が含まれる期間全体にわたって畳み込み演算が行われるように設定される。時間特徴畳み込み層は、例えば、時間軸方向及び空間方向の何れについても畳み込み演算（以下、３次元畳み込み演算と呼ぶ）を実行してもよく、あるいは、時間軸方向についてのみの畳み込み演算（以下、時間次元畳み込み演算と呼ぶ）を実行してもよい。さらに、時間特徴畳み込み層は、チャネル方向に関しても畳み込み演算または全結合演算を実行してもよい。また、第２の識別器が複数の時間特徴畳み込み層を有する場合には、その複数の時間特徴畳み込み層の何れかの層が３次元畳み込み演算を実行し、その複数の時間特徴畳み込み層の他の層が時間次元畳み込み演算を実行してもよい。さらに、第２の識別器は、時間軸方向には畳み込み演算を実行せず、空間方向について畳み込み演算を実行する畳み込み層（以下、空間特徴畳み込み層と呼ぶ）を一つ以上有してもよい。この空間特徴畳み込み層も、チャネル方向に関して畳み込み演算または全結合演算を実行してもよい。第２の識別器が１以上の空間特徴畳み込み層を有する場合、空間特徴畳み込み層と時間特徴畳み込み層の順序はどのような順序でもよい。例えば、入力側から出力側へ順に、空間特徴畳み込み層、時間特徴畳み込み層の順に各畳み込み層が設けられてもよく、あるいはその逆の順序であってもよい。さらに、空間特徴畳み込み層と時間特徴畳み込み層とが交互に設けられてもよい。さらに、第２の識別器は、１以上のプーリング層を有してもよい。さらにまた、第２の識別器は、１以上の活性化層及び１以上の全結合層を有してもよい。第２の識別器の出力層は、例えば、活性化関数としてシグモイド関数またはソフトマックス関数を使用する。
信号灯状態識別部３３は、追跡中の他車両のそれぞれについて、識別された信号灯の状態が変化する度に、その変化したタイミング及び変化後の信号灯の状態を対応する追跡情報に追加する。また、信号灯状態識別部３３は、第２の識別器として再帰構造を持つ識別器を利用する場合、追跡中の他車両のそれぞれについて、第２の識別器に特徴が入力されて内部状態が更新される度に、更新された内部状態をメモリ２２に書き込む。
図７は、検出物体リストの一例を示す図である。検出物体リスト７００は、例えば、車両１０に搭載されたカメラごとに生成される。検出物体リスト７００には、追跡中の他車両のそれぞれについて、その他車両が信号灯状態識別対象か否かを表すインデックス、その他車両に割り当てられた識別番号、その他車両に関する情報が記憶されているメモリ２２のアドレスを表すポインタ及び信号灯状態識別部３３により信号灯の状態が識別された回数（すなわち、第２の識別器に、対応する物体領域から求められた特徴が入力された回数）が格納される。さらに、検出物体リスト７００には、追跡中の他車両のそれぞれについて、物体領域の位置及び範囲を表す情報（図示せず）及び追跡中の他車両の種類を表す情報（図示せず）などが格納される。また、追跡中の他車両のそれぞれについてのポインタで示されるメモリ２２上の格納領域７０１には、最新の画像における、第２の識別器に入力される特徴、最後に更新された第２の識別器の内部状態、及び、最後に更新された第２の識別器からの出力結果である、信号灯の状態の識別結果などが記憶される。
図８は、追跡情報の一例を示す図である。追跡情報８００には、追跡中の他車両のそれぞれについて、その他車両に割り当てられた識別番号、他車両の種類、追跡開始からの所定の周期（例えば、カメラの撮影周期または測距センサの測定周期）ごとの他車両の位置座標、実施された車線変更ごとの実施タイミング及び車線変更の方向（左側へ車線変更、または右側へ車線変更）が含まれる。さらに、追跡情報８００には、追跡中の他車両のそれぞれについて、ターンシグナルが点滅状態となった度の点滅状態に切り替わったタイミング及び点滅状態となったターンシグナルの種類（右か左か）が含まれる。さらにまた、追跡情報８００には、追跡中の他車両のそれぞれについて、ブレーキランプが点灯した度のブレーキランプが点灯していた期間の長さが含まれてもよい。さらにまた、追跡情報８００には、追跡中の他車両のそれぞれについて、車両１０が走行中の車線を基準とする、現時点で他車両が走行中の車線を表す情報が含まれていてもよい。
挙動特徴抽出部３４は、追跡中の他車両のそれぞれについて、追跡情報を参照して、他車両が追跡されている期間（以下、単に追跡期間と呼ぶ）において検出された所定の行動とその所定の行動に関連する他車両の信号灯の状態とに基づいて、他車両が所定の行動を実施するときの信号灯の状態または他の車両の行動の特徴を表す少なくとも一つの特徴（以下、単に挙動特徴情報）を抽出する。
上記のように、ターンシグナルが点滅を始めてから、車線変更が実際に行われるまでのタイムラグはドライバによって異なる。また、ドライバによっては、車線変更が行われる際にターンシグナルが操作されないことがある。逆に、ターンシグナルが操作されても、車線変更が実施されないことがある。そこで、本実施形態では、挙動特徴抽出部３４は、追跡中の他車両が車線変更を実施するときのターンシグナルの状態または他車両の行動の特徴を、挙動特徴情報として抽出する。例えば、挙動特徴抽出部３４は、追跡中の他車両のそれぞれについて、車線変更回数、車線変更発生率、ターンシグナル点灯率、車線変更不実施率、及び、平均猶予時間を、挙動特徴情報として抽出する。
車線変更回数は、着目する他車両の追跡期間において車線変更が実施された回数である。車線変更発生率は、追跡期間において車線変更が実施された回数を、その期間の長さで除して得られる、単位時間（例えば、1分または10分）当たりに車線変更が実施された回数である。車線変更発生率が高い他車両ほど、車線変更を頻繁に実施することが想定される。
ターンシグナル点灯率は、車線変更回数に対する、追跡期間中に実施された個々の車線変更において、その車線変更の実行タイミングの直前の所定期間（例えば、5～10秒）内に、その車線変更における、変更後の車線を示す方向のターンシグナルが点滅状態となった、すなわち、車線変更の予告がなされた回数の比である。例えば、車両１０が走行中の車線の右側に隣接する車線を走行する他車両が、車両１０が走行中の車線へ車線変更した場合において、その直前の所定期間内に左側のターンシグナルが点滅状態となっていれば、挙動特徴抽出部３４は、車線変更の予告がなされたと判定する。ターンシグナル点灯率が低い他車両ほど、ターンシグナルを点滅させずに車線変更を実施する可能性が高いことが想定される。
車線変更不実施率は、追跡期間中において、左右何れかのターンシグナルが点滅状態となった回数に対する、その何れかのターンシグナルが点滅状態となったにもかかわらず、その点滅状態となったタイミングから所定期間が経過しても車線変更が実施されていない回数の比である。車線変更不実施率が高い他車両ほど、車線変更が実施されるか否かを判断するための情報としてのターンシグナルの状態の信頼性が低い。
平均猶予時間は、追跡期間中において、車線変更の予告がなされ、かつ、その予告から所定期間内に実際に実施された個々の車線変更について、ターンシグナルが点滅状態となってから車線変更が実施されるまでの猶予期間の平均値である。平均猶予時間が短い他車両ほど、ターンシグナルが点滅状態となってから実際に車線変更が行われるまでの猶予期間が短いことが想定される。
挙動特徴抽出部３４は、所定の周期ごとに、追跡情報を参照して、追跡中の他車両のそれぞれについての挙動特徴情報を更新し、更新した挙動特徴情報をメモリ２２に記憶する。
図９は、挙動特徴情報の一例を示す図である。挙動特徴情報９００には、追跡中の他車両のそれぞれについて、他車両に割り当てられた識別番号、車線変更回数、車線変更発生率、ターンシグナル点灯率、車線変更不実施率、及び、平均猶予時間が含まれる。
運転計画部３５は、検出物体リストを参照して、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路（トラジェクトリ）を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３５は、追跡中の各他車両について、抽出された挙動特徴情報に従って他車両の挙動を予測し、予測した他車両の挙動に基づいて、走行予定経路を設定する。
本実施形態では、運転計画部３５は、追跡部３２による追跡結果により得られた軌跡に対して、追跡部３２に関して説明したような予測フィルタを適用することで、所定時間先までの予測軌跡を推定する。さらに、運転計画部３５は、追跡中の各他車両についての、推定した予測軌跡に基づいて、車両１０の進行方向における道路上の領域に対して、個々の地点ごとに、何れかの他車両が存在する可能性が高いほど大きな値となるコストを表すコストマップを生成する。すなわち、コストマップでは、追跡中の他車両の何れかの予測軌跡が通る地点のコストが他の地点のコストよりも高く設定される。なお、個々の地点のコストは時間経過とともに変動してもよい。
例えば、運転計画部３５は、追跡中の各他車両の何れかの予測軌跡が通過する地点のコストを他の地点のコストよりも高く設定する。その際、運転計画部３５は、予測軌跡が通過する地点について、他車両が予測軌跡に沿って走行した場合にその地点に達するタイミングにおけるコストを最も高くし、そのタイミングとの時間差が大きくなるほど、コストを低下させてもよい。
さらに、運転計画部３５は、追跡中の各他車両の挙動特徴情報に基づいてコストマップを補正することで、予測した他車両の挙動を表す補正されたコストマップを求める。
図１０は、挙動特徴情報に基づくコストマップ補正の動作フローチャートである。運転計画部３５は、追跡中の他車両ごとに、以下の動作フローチャートに従ってコストマップを補正する。
運転計画部３５は、着目する他車両について、左右何れかのターンシグナルが現時点で（すなわち、何れかのカメラによる最新の画像の物体領域からの特徴が第２の識別器に入力された時点で）点滅状態となっているか否か判定する（ステップＳ１０１）。左右何れかのターンシグナルが現時点で点滅状態となっている場合（ステップＳ１０１－Ｙｅｓ）、運転計画部３５は、着目する他車両についての車線変更不実施率が第１の閾値Th1以上であるか否か判定する（ステップＳ１０２）。
着目する他車両についての車線変更不実施率が第１の閾値Th1未満である場合（ステップＳ１０２－Ｎｏ）、着目する他車両は、実際に車線変更を実施する可能性が高い。そこで、運転計画部３５は、着目する他車両の予測軌跡に対して、点滅状態となったターンシグナルで示される側の車線へその他車両が車線変更を実施した場合に通過すると想定される各地点のコストを第１の補正値C1だけ増加させる（ステップＳ１０３）。なお、運転計画部３５は、着目する他車両の軌跡に対して、車線変更を実施する前提で、上記の予測フィルタを適用することで、着目する他車両が車線変更を実施した場合に通過すると想定される個々の地点を特定すればよい。あるいは、運転計画部３５は、着目する他車両の予測軌跡を、車線変更が実施される場合の代表的な軌跡に従って補正することで、着目する他車両が車線変更を実施した場合に通過すると想定される個々の地点を特定してもよい。なお、そのような代表的な軌跡はメモリ２２に予め記憶されればよい。一方、着目する他車両についての車線変更不実施率が第１の閾値Th1以上である場合（ステップＳ１０２－Ｙｅｓ）、着目する他車両は、車線変更を実施しないこともあり得る。そこで、運転計画部３５は、着目する他車両の予測軌跡に対して、点滅状態となったターンシグナルで示される側の車線へその他車両が車線変更を実施した場合に通過すると想定される各地点のコストを、第２の補正値C2だけ増加させる（ステップＳ１０４）。なお、第２の補正値C2は、第１の補正値C1よりも小さく設定される。これにより、運転計画部３５は、車両１０に不要な減速をさせ、あるいは、不要な回避行動を取らせることを軽減できる。なお、運転計画部３５は、着目する他車両についての車線変更不実施率が低いほど、点滅状態となったターンシグナルで示される側の車線へその他車両が車線変更を実施した場合に通過すると想定される各地点のコストを増加させる補正値を大きくしてもよい。
一方、ステップＳ１０１にて、左右何れのターンシグナルも現時点で点滅状態となっていない場合（すなわち、各ターンシグナルが消灯状態となっている場合）（ステップＳ１０１－Ｎｏ）、運転計画部３５は、着目する他車両についてのターンシグナル点灯率が第２の閾値Th2以上であるか否か判定する（ステップＳ１０５）。着目する他車両についてのターンシグナル点灯率が第２の閾値Th2以上である場合（ステップＳ１０５－Ｙｅｓ）、着目する他車両は、車線変更せずに現在走行中の車線を走り続ける可能性が高い。そこで、運転計画部３５は、着目する他車両の予測軌跡が通らない個々の地点のコストを第３の補正値C3だけ低下させる（ステップＳ１０６）。一方、着目する他車両についてのターンシグナル点灯率が第２の閾値Th2未満である場合（ステップＳ１０５－Ｎｏ）、着目する他車両は、左右何れかの方向へ、ターンシグナルを点滅させずに車線変更することも想定される。そこで、運転計画部３５は、着目する他車両が左右何れかの方向へ車線変更したときにその他車両が通ると想定される個々の地点のコストを、着目する他車両の予測軌跡上の個々の地点のコストと同じ値に修正する（ステップＳ１０７）。これにより、運転計画部３５は、着目する他車両がターンシグナルを点滅させずに車線変更を実施しても、車両１０と着目する他車両とが衝突する危険性を低減できる。なお、運転計画部３５は、着目する他車両についてのターンシグナル点灯率が高いほど、第３の補正値を大きくしてもよい。
ステップＳ１０３、Ｓ１０４、Ｓ１０６またはＳ１０７の後、運転計画部３５は、着目する他車両についての車線変更発生率が第３の閾値Th3以下であるか否か判定する（ステップＳ１０８）。着目する他車両についての車線変更発生率が第３の閾値Th3以下である場合（ステップＳ１０８－Ｙｅｓ）、着目する他車両は、車線変更せずに現在走行中の車線を走り続ける可能性が有る。そこで、運転計画部３５は、着目する他車両の予測軌跡が通らない個々の地点のコストを第４の補正値C4だけ低下させる（ステップＳ１０９）。なお、左右何れかのターンシグナルが点滅している場合には、運転計画部３５は、その点滅している方向に着目する他車両が車線変更するときに他車両が通過すると想定される個々の地点のコストについては低下させなくてもよい。また、運転計画部３５は、着目する他車両についての車線変更発生率が低いほど、第４の補正値を大きくしてもよい。一方、着目する他車両についての車線変更発生率が第３の閾値Th3より大きい場合（ステップＳ１０８－Ｎｏ）、着目する他車両は、ターンシグナルを点滅の有無にかかわらず、左右何れかの方向へ車線変更することも想定される。そこで、運転計画部３５は、着目する他車両が左右何れかの方向へ車線変更したときにその他車両が通ると想定される個々の地点のコストを、着目する他車両の予測軌跡上の個々の地点のコストと同じ値に修正する（ステップＳ１１０）。これにより、運転計画部３５は、着目する他車両が頻繁に車線変更を実施する場合であっても、車両１０と着目する他車両とが衝突する危険性を低減できる。ステップＳ１０９またはＳ１１０の後、運転計画部３５は、コストマップの補正処理を終了する。なお、運転計画部３５は、ステップＳ１０１～Ｓ１０７の処理と、ステップＳ１０８～Ｓ１１０の処理の順序を入れ替えてもよい。また、運転計画部３５は、ステップＳ１０１～Ｓ１１０の処理の一部を省略してもよい。さらに、運転計画部３５は、着目する他車両についての平均猶予期間が短いほど、着目する他車両の左右何れかのターンシグナルの点滅の開始が検出されたときの着目する他車両の位置から、着目する他車両が車線変更を開始するまでの想定距離を短くした上で、その車線変更が行われるときの個々の地点のコストを所定値だけ増加させてもよい。これにより、運転計画部３５は、着目する他車両がターンシグナルを点滅させてから直ぐに車線変更を実施しても、車両１０と着目する他車両とが衝突する危険性を軽減できる。
運転計画部３５は、車両１０の位置、速度及び姿勢と、補正後のコストマップとを参照して、走行予定経路に含まれる個々の地点のコストの合計を算出し、そのコストの合計が最小化されるように走行予定経路を生成する。その際、運転計画部３５は、例えば、数理計画問題用の最適化手法に従って走行予定経路を生成すればよい。なお、運転計画部３５は、車両１０の位置、速度及び姿勢を、例えば、車両１０に搭載されたＧＰＳ受信機（図示せず）から得た車両１０の現在位置を表す現在位置情報に基づいて推定できる。あるいは、物体検出部３１またはローカライズ処理部（図示せず）が、カメラ２により画像が得られる度に、その画像から車両１０の左右の車線区画線を検出し、検出された車線区画線とメモリ２２に記憶されている地図情報とをマッチングすることで、車両１０の位置及び姿勢が推定されてもよい。さらに、運転計画部３５は、例えば、車両１０の現在位置情報と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３５は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部３５は、複数の走行予定経路を生成してもよい。この場合、運転計画部３５は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。
運転計画部３５は、生成した走行予定経路を車両制御部３６へ通知する。
車両制御部３６は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３６は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３６は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３６は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。
さらに、車両制御部３６は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。
図１１は、プロセッサ２３により実行される、車両制御処理の動作フローチャートである。プロセッサ２３は、所定の制御周期ごとに、図１１に示される動作フローチャートに従って車両制御処理を実行する。
プロセッサ２３の物体検出部３１は、カメラ２－１～２－ｎの何れかから得られた最新の画像を第１の識別器に入力して、その最新の画像に表された１以上の他車両を検出する。すなわち、物体検出部３１は、その最新の画像上で他車両を含む１以上の物体領域を検出する（ステップＳ２０１）。さらに、物体検出部３１は、検出された他車両ごとに、その他車両の種類を識別する。そして物体検出部３１は、検出された他車両を検出物体リストに登録する。
プロセッサ２３の追跡部３２は、カメラ２－１～２－ｎのそれぞれにより過去に得られた画像、及び、測距センサ３－１～３－ｍのそれぞれにより得られた測距信号に基づいて、検出された他車両のそれぞれを追跡して、検出された他車両の軌跡を推定する（ステップＳ２０２）。さらに、追跡部３２は、検出され、かつ、追跡中の他車両のそれぞれについて、その他車両の軌跡に基づいて、その他車両が追跡されている期間中において実施された車線変更を検出し、検出した各車線変更の実施タイミング等を追跡情報に記録する（ステップＳ２０３）。
また、プロセッサ２３の信号灯状態識別部３３は、追跡中の他車両のそれぞれについて、最新の画像において検出された物体領域内の画素値から求められる特徴を抽出する（ステップＳ２０４）。そして信号灯状態識別部３３は、抽出した特徴を、再帰構造を持つ第２の識別器に入力することで、その他車両の信号灯の状態を識別する（ステップＳ２０５）。信号灯状態識別部３３は、識別した信号灯の状態が変化したタイミングなどを追跡情報に記録する（ステップＳ２０６）。
プロセッサ２３の挙動特徴抽出部３４は、追跡中の他車両のそれぞれについて、追跡情報を参照して、他車両の挙動特徴情報を抽出する（ステップＳ２０７）。
プロセッサ２３の運転計画部３５は、追跡中の他車両のそれぞれについて、所定時間先までの予測軌跡を推定し、追跡中の他車両のそれぞれの予測軌跡に基づいてコストマップを生成する（ステップＳ２０８）。さらに、運転計画部３５は、コストマップを、追跡中の他車両のそれぞれについての挙動特徴情報に基づいて補正する（ステップＳ２０９）。そして運転計画部３５は、補正したコストマップを参照して、コストが最小となるように、車両１０の走行予定経路を生成する（ステップＳ２１０）。そしてプロセッサ２３の車両制御部３６は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ２１１）。そしてプロセッサ２３は、車両制御処理を終了する。
以上に説明してきたように、この車両制御装置は、車両周囲の他車両が有するターンシグナル等の信号灯の状態を識別するとともに、他車両を追跡して、他車両が実施した車線変更といった所定の行動を検出する。そしてこの車両制御装置は、追跡中の他車両が所定の行動を実施したタイミングと信号灯の状態が変化したタイミングとに基づいて、他車両が所定の行動を実施するときの信号灯の状態の特徴を求める。そのため、この車両制御装置は、車両の周囲に位置する他の車両の挙動に関する予測精度を向上することができる。そしてこの車両制御装置は、求めた挙動の特徴に基づいて、車両の走行予定経路を設定するためのコストマップを補正するので、他車両と車両とが衝突しないためのより安全な走行予定経路を設定することができる。さらに、この車両制御装置は、個々の画像から物体を検出する第１の識別器を利用して、時系列の一連の画像のそれぞれから、第２の識別器に入力する特徴を抽出するので、画像全体を、再帰構造を持つ識別器に入力して物体の状態を識別するよりも、全体として演算量を削減することができる。また、第１の識別器の学習に用いられる画像は静止画像であればよく、一方、第２の識別器の学習には、動画像が必要となるものの、その動画像に含まれる個々の画像のサイズは、第１の識別器の学習に利用される画像のサイズよりも小さくてよい。そのため、この車両制御装置は、各識別器の学習に必要なコスト（例えば、教師画像のアノテーションに要するコスト、教師画像の収集に要するコストなど）を削減するとともに、各識別器の学習に要する演算量及び演算時間を削減することができる。
変形例によれば、信号灯状態識別部３３は、追跡中の他車両のそれぞれについて、追跡情報を参照して、信号灯の状態を判定するための閾値を補正してもよい。例えば、信号灯状態識別部３３は、着目する他車両の平均猶予時間が第４の閾値Th4以上か否か判定する。そして着目する他車両の平均猶予時間が第４の閾値Th4以上である場合、信号灯状態識別部３３は、ターンシグナルが点滅状態であるか否かを判定するための閾値を通常の設定値とする。一方、着目する他車両の平均猶予期間が第４の閾値Th4未満である場合、信号灯状態識別部３３は、ターンシグナルが点滅状態であるか否かを判定するための閾値を通常の閾値よりも低い値に設定する。これにより、着目する他車両のターンシグナルが点滅状態と判定され易くなり、信号灯状態識別部３３は、平均猶予時間の短い他車両について、ターンシグナルが点滅状態となったことを早期に検知できる。さらに、信号灯状態識別部３３は、着目する他車両の一部が画像に写っておらず、相対的に信号灯の状態の識別が難しい場合でも、着目する他車両のターンシグナルが点滅状態となったことを早期に検出できる。
他の変形例によれば、挙動特徴抽出部３４は、追跡中の他車両のそれぞれについて、追跡部３２により得られた他車両の軌跡に基づいて、他車両のブレーキランプが点灯状態となってからの他車両の平均減速度を挙動特徴情報の一つとして求めてもよい。平均減速度が大きい他車両ほど、ブレーキランプの点灯時に急激に減速することが想定される。そこでこの場合、運転計画部３５は、着目する他車両のブレーキランプが点灯状態となっている場合、着目する他車両の平均減速度が大きいほど、着目する他車両の予測軌跡が通る個々の地点において、その地点のコストが最大となるタイミングを早くする。あるいは、信号灯状態識別部３３は、着目する他車両の平均減速度が大きいほど、ブレーキランプが点灯状態であるか否かを判定するための閾値を低くしてもよい。これにより、平均減速度が大きい他車両ほど、ブレーキランプが点灯状態と判定され易くなるので、信号灯状態識別部３３は、平均減速度が大きい他車両について、ブレーキランプが点灯状態となったことを早期に検知できる。
また他の変形例によれば、物体検出部３１は、DNN以外の識別器を利用して、画像から、他車両などの検出対象物体を検出してもよい。例えば、物体検出部３１は、第1の識別器として、画像上に設定されるウィンドウから算出される特徴量（例えば、HOG）を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン（SVM）を用いてもよい。物体検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をSVMへ入力することで、そのウィンドウについて確信度を求める。そして物体検出部３１は、何れかの種類の検出対象物体について確信度が所定の確信度閾値以上となるウィンドウに、その検出対象物体が表されていると判定し、かつ、そのウィンドウを物体領域とすればよい。なお、SVMは、検出対象となる物体の種類ごとに用意されてもよい。この場合には、物体検出部３１は、各ウィンドウについて、そのウィンドウから算出された特徴量をそれぞれのSVMへ入力することで、物体の種類ごとに確信度を算出すればよい。
さらに他の変形例によれば、ＥＣＵ４は、車両１０に搭載された一つのカメラ、例えば、車両の前方領域を撮影するように設けられたカメラにより得られた時系列の一連の画像のみ基づいて、上記の実施形態または変形例による車両制御処理を実行してもよい。この場合でも、ＥＣＵ４は、一定期間にわたってそのカメラの撮影領域内に位置する他車両の挙動の特徴を抽出することができるので、上記の実施形態また変形例と同様の効果を得ることができる。
また、上記の実施形態または変形例による、車両制御装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
１ 車両制御システム
２－１～２－ｎ カメラ
３－１～３－ｍ 測距センサ
４ 電子制御装置（車両制御装置）
５ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 追跡部
３３ 信号灯状態識別部
３４ 挙動特徴抽出部
３５ 運転計画部
３６ 車両制御部

Claims (13)

  1. 車両の走行を制御する車両制御装置であって、
    前記車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、前記一連の画像のそれぞれについて、前記画像上で前記車両の周囲の他の車両を含む物体領域を検出する物体検出部と、
    前記一連の画像のそれぞれの前記物体領域に基づいて前記他の車両を追跡することで、前記他の車両の軌跡を推定し、推定した前記軌跡に基づいて、前記他の車両が実施した所定の行動を検出する追跡部と、
    前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで、前記他の車両の信号灯の状態を識別する信号灯状態識別部と、
    前記他の車両が追跡されている追跡期間において検出された前記所定の行動と、前記追跡期間において識別された、前記所定の行動と関連する前記他の車両の信号灯の状態とに基づいて、前記他の車両が前記所定の行動を実施するときの前記信号灯の状態または前記他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出する挙動特徴抽出部と、
    前記少なくとも一つの挙動特徴情報に従って前記他の車両の挙動を予測し、予測した前記他の車両の挙動に基づいて、前記車両が走行する予定の走行予定経路を設定する運転計画部と、
    前記走行予定経路に沿って前記車両が走行するように前記車両を制御する車両制御部と、
    を有し、
    前記運転計画部は、前記軌跡に基づいて、前記他の車両が現在から所定時間先までの間に通ると予測される予測軌跡を求めて前記予測軌跡が通る地点のコストを他の地点よりも高く設定するコストマップを生成し、前記コストマップを前記少なくとも一つの挙動特徴情報に従って補正することで、予測した前記他の車両の挙動を表す補正されたコストマップを求め、当該補正されたコストマップに従って、前記走行予定経路上のコストが最小となるように前記走行予定経路を設定し、
    前記追跡部は、前記他の車両が実施した車線変更を前記他の車両が実施した前記所定の行動として検出し、
    前記挙動特徴抽出部は、前記他の車両のターンシグナルが点滅した状態に変化したことを、前記所定の行動と関連する信号灯の状態に変化したこととし、かつ、前記追跡期間において前記他の車両がターンシグナルを点滅させた回数に対する、ターンシグナルの点滅後に前記他の車両が車線変更を実施しなかった回数の比である車線変更不実施率を前記少なくとも一つの挙動特徴情報の一つとして抽出する、
    車両制御装置。
  2. 前記信号灯状態識別部が、前記撮像部により前記一連の画像よりも後に得られた最新の画像の物体領域からの特徴を前記第２の識別器に入力することで、前記他の車両のターンシグナルが点滅状態となったことを識別した場合において、前記運転計画部は、前記車線変更不実施率が第１の閾値未満である場合、前記ターンシグナルにて示される方向に対して前記他の車両が車線変更したと想定されるときに前記他の車両が通る個々の地点のコストを第１の値だけ増加させ、一方、前記車線変更不実施率が前記第１の閾値以上である場合、前記ターンシグナルにて示される方向に対して前記他の車両が車線変更したと想定されるときに通る個々の地点のコストを前記第１の値よりも小さい第２の値だけ増加するよう、前記コストマップを補正する、請求項１に記載の車両制御装置。
  3. 前記挙動特徴抽出部は、前記追跡期間において前記他の車両が車線変更を実施した回数に対する、前記他の車両が車線変更前にターンシグナルを点滅させた回数の比であるターンシグナル点灯率を前記少なくとも一つの挙動特徴情報の一つとしてさらに抽出する、請求項２に記載の車両制御装置。
  4. 前記信号灯状態識別部が、前記撮像部により前記一連の画像よりも後に得られた最新の画像の前記物体領域からの前記特徴を前記第２の識別器に入力することで、前記他の車両のターンシグナルが消灯状態となったことを識別した場合において、前記運転計画部は、前記ターンシグナル点灯率が第２の閾値以上である場合、前記予測軌跡が通らない個々の地点のコストを所定値だけ低下させ、一方、前記ターンシグナル点灯率が前記第２の閾値よりも低い場合、前記他の車両が車線変更したと想定されるときに通る個々の地点のコストを前記予測軌跡が通る地点のコストと同じ値に設定するよう、前記コストマップを補正する、請求項３に記載の車両制御装置。
  5. 前記挙動特徴抽出部は、前記他の車両が単位時間あたりに車線変更した回数である車線変更発生率を前記少なくとも一つの挙動特徴情報の一つとしてさらに抽出する、請求項１に記載の車両制御装置。
  6. 前記運転計画部は、前記車線変更発生率が第３の閾値以下である場合、前記予測軌跡が通らない個々の地点のコストを所定値だけ低下させ、一方、前記車線変更発生率が前記第３の閾値よりも高い場合、前記他の車両が車線変更したと想定されるときに通る個々の地点のコストを前記予測軌跡が通る地点のコストと同じ値に設定するよう、前記コストマップを補正する、請求項５に記載の車両制御装置。
  7. 前記車両は、前記撮像部の撮影領域と異なる他の撮影領域を撮影して第２の画像を生成する第２の撮像部をさらに有し、
    前記物体検出部は、前記第２の画像を前記第１の識別器に入力することで、前記第２の画像上で前記他の車両を含む物体領域を検出し、
    前記追跡部は、前記第２の画像上の前記物体領域と前記一連の画像の何れかの前記物体領域とを照合することで前記他の車両を追跡する、請求項１～６の何れか一項に記載の車両制御装置。
  8. 前記車両は、前記車両の周囲の所定の角度範囲内の角度ごとに、当該角度方向に存在する物体までの距離の測定値を含む測距信号を所定の周期ごとに生成する測距部をさらに有し、
    前記追跡部は、前記一連の画像の何れかの取得時点の直前または直後の第１の時点に得られた前記測距信号において前記何れかの画像上の前記物体領域に相当する角度範囲を特定し、前記第１の時点における前記測距信号の前記角度範囲と、前記第１の時点よりも後の第２の時点に得られた前記測距信号とを照合することで、前記他の車両を追跡する、請求項１～６の何れか一項に記載の車両制御装置。
  9. 車両の走行を制御する車両制御方法であって、
    車両制御装置が、前記車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、前記一連の画像のそれぞれについて、前記画像上で前記車両の周囲の他の車両を含む物体領域を検出し、
    前記車両制御装置が、前記一連の画像のそれぞれの前記物体領域に基づいて前記他の車両を追跡することで、前記他の車両の軌跡を推定し、
    前記車両制御装置が、推定した前記軌跡に基づいて、前記他の車両が実施した所定の行動を検出し、
    前記車両制御装置が、前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで、前記他の車両の信号灯の状態を識別し、
    前記車両制御装置が、前記他の車両が追跡されている追跡期間において検出された前記所定の行動と、前記追跡期間において識別された、前記所定の行動と関連する前記他の車両の信号灯の状態とに基づいて、前記他の車両が前記所定の行動を実施するときの前記信号灯の状態または前記他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出し、
    前記車両制御装置が、前記少なくとも一つの挙動特徴情報に従って前記他の車両の挙動を予測し、
    前記車両制御装置が、予測した前記他の車両の挙動に基づいて、前記車両が走行する予定の走行予定経路を設定し、
    前記車両制御装置が、前記走行予定経路に沿って前記車両が走行するように前記車両を制御する、
    ことを含み、
    前記走行予定経路を設定することは、前記軌跡に基づいて、前記他の車両が現在から所定時間先までの間に通ると予測される予測軌跡を求めて前記予測軌跡が通る地点のコストを他の地点よりも高く設定するコストマップを生成し、前記コストマップを前記少なくとも一つの挙動特徴情報に従って補正することで、予測した前記他の車両の挙動を表す補正されたコストマップを求め、当該補正されたコストマップに従って、前記走行予定経路上のコストが最小となるように前記走行予定経路を設定することを含み、
    前記所定の行動を検出することは、前記他の車両が実施した車線変更を前記他の車両が実施した前記所定の行動として検出することを含み、
    前記少なくとも一つの挙動特徴情報を抽出することは、前記他の車両のターンシグナルが点滅した状態に変化したことを、前記所定の行動と関連する信号灯の状態に変化したこととし、かつ、前記追跡期間において前記他の車両がターンシグナルを点滅させた回数に対する、ターンシグナルの点滅後に前記他の車両が車線変更を実施しなかった回数の比である車線変更不実施率を前記少なくとも一つの挙動特徴情報の一つとして抽出することを含む、
    車両制御方法。
  10. 車両の走行を制御するための車両制御用コンピュータプログラムであって、
    前記車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、前記一連の画像のそれぞれについて、前記画像上で前記車両の周囲の他の車両を含む物体領域を検出し、
    前記一連の画像のそれぞれの前記物体領域に基づいて前記他の車両を追跡することで、前記他の車両の軌跡を推定し、
    推定した前記軌跡に基づいて、前記他の車両が実施した所定の行動を検出し、
    前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで、前記他の車両の信号灯の状態を識別し、
    前記他の車両が追跡されている追跡期間において検出された前記所定の行動と、前記追跡期間において識別された、前記所定の行動と関連する前記他の車両の信号灯の状態とに基づいて、前記他の車両が前記所定の行動を実施するときの前記信号灯の状態または前記他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出し、
    前記少なくとも一つの挙動特徴情報に従って前記他の車両の挙動を予測し、
    予測した前記他の車両の挙動に基づいて、前記車両が走行する予定の走行予定経路を設定し、
    前記走行予定経路に沿って前記車両が走行するように前記車両を制御する、
    ことを前記車両に搭載されたプロセッサに実行させ、
    前記走行予定経路を設定することは、前記軌跡に基づいて、前記他の車両が現在から所定時間先までの間に通ると予測される予測軌跡を求めて前記予測軌跡が通る地点のコストを他の地点よりも高く設定するコストマップを生成し、前記コストマップを前記少なくとも一つの挙動特徴情報に従って補正することで、予測した前記他の車両の挙動を表す補正されたコストマップを求め、当該補正されたコストマップに従って、前記走行予定経路上のコストが最小となるように前記走行予定経路を設定することを含み、
    前記所定の行動を検出することは、前記他の車両が実施した車線変更を前記他の車両が実施した前記所定の行動として検出することを含み、
    前記少なくとも一つの挙動特徴情報を抽出することは、前記他の車両のターンシグナルが点滅した状態に変化したことを、前記所定の行動と関連する信号灯の状態に変化したこととし、かつ、前記追跡期間において前記他の車両がターンシグナルを点滅させた回数に対する、ターンシグナルの点滅後に前記他の車両が車線変更を実施しなかった回数の比である車線変更不実施率を前記少なくとも一つの挙動特徴情報の一つとして抽出することを含む、
    車両制御用コンピュータプログラム。
  11. 車両の走行を制御する車両制御装置であって、
    前記車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、前記一連の画像のそれぞれについて、前記画像上で前記車両の周囲の他の車両を含む物体領域を検出する物体検出部と、
    前記一連の画像のそれぞれの前記物体領域に基づいて前記他の車両を追跡することで、前記他の車両の軌跡を推定し、推定した前記軌跡に基づいて、前記他の車両が実施した所定の行動を検出する追跡部と、
    前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで、前記他の車両の信号灯の状態を識別する信号灯状態識別部と、
    前記他の車両が追跡されている追跡期間において検出された前記所定の行動と、前記追跡期間において識別された、前記所定の行動と関連する前記他の車両の信号灯の状態とに基づいて、前記他の車両が前記所定の行動を実施するときの前記信号灯の状態または前記他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出する挙動特徴抽出部と、
    前記少なくとも一つの挙動特徴情報に従って前記他の車両の挙動を予測し、予測した前記他の車両の挙動に基づいて、前記車両が走行する予定の走行予定経路を設定する運転計画部と、
    前記走行予定経路に沿って前記車両が走行するように前記車両を制御する車両制御部と、
    を有し、
    前記運転計画部は、前記軌跡に基づいて、前記他の車両が現在から所定時間先までの間に通ると予測される予測軌跡を求めて前記予測軌跡が通る地点のコストを他の地点よりも高く設定するコストマップを生成し、前記コストマップを前記少なくとも一つの挙動特徴情報に従って補正することで、予測した前記他の車両の挙動を表す補正されたコストマップを求め、当該補正されたコストマップに従って、前記走行予定経路上のコストが最小となるように前記走行予定経路を設定し、
    前記追跡部は、前記他の車両が実施した車線変更を前記他の車両が実施した前記所定の行動として検出し、
    前記挙動特徴抽出部は、前記他の車両のターンシグナルが点滅した状態に変化したことを、前記所定の行動と関連する信号灯の状態に変化したこととし、かつ、前記追跡期間において前記他の車両が車線変更前にターンシグナルを点滅させてから前記他の車両が車線変更を実施するまでの猶予期間の平均値を前記少なくとも一つの挙動特徴情報の一つとして抽出し、
    前記第２の識別器は、前記物体領域内の画素値から求められる特徴が入力されると前記他の車両の信号灯であるターンシグナルが点滅状態である確信度を出力し、前記信号灯状態識別部は、前記確信度が確信度閾値以上である場合、前記ターンシグナルが点滅状態であると識別し、かつ、前記猶予期間の平均値が所定の閾値未満である場合、前記確信度閾値を所定値だけ低下させる、
    車両制御装置。
  12. 車両の走行を制御する車両制御方法であって、
    車両制御装置が、前記車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、前記一連の画像のそれぞれについて、前記画像上で前記車両の周囲の他の車両を含む物体領域を検出し、
    前記車両制御装置が、前記一連の画像のそれぞれの前記物体領域に基づいて前記他の車両を追跡することで、前記他の車両の軌跡を推定し、
    前記車両制御装置が、推定した前記軌跡に基づいて、前記他の車両が実施した所定の行動を検出し、
    前記車両制御装置が、前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで、前記他の車両の信号灯の状態を識別し、
    前記車両制御装置が、前記他の車両が追跡されている追跡期間において検出された前記所定の行動と、前記追跡期間において識別された、前記所定の行動と関連する前記他の車両の信号灯の状態とに基づいて、前記他の車両が前記所定の行動を実施するときの前記信号灯の状態または前記他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出し、
    前記車両制御装置が、前記少なくとも一つの挙動特徴情報に従って前記他の車両の挙動を予測し、
    前記車両制御装置が、予測した前記他の車両の挙動に基づいて、前記車両が走行する予定の走行予定経路を設定し、
    前記車両制御装置が、前記走行予定経路に沿って前記車両が走行するように前記車両を制御する、
    ことを含み、
    前記走行予定経路を設定することは、前記軌跡に基づいて、前記他の車両が現在から所定時間先までの間に通ると予測される予測軌跡を求めて前記予測軌跡が通る地点のコストを他の地点よりも高く設定するコストマップを生成し、前記コストマップを前記少なくとも一つの挙動特徴情報に従って補正することで、予測した前記他の車両の挙動を表す補正されたコストマップを求め、当該補正されたコストマップに従って、前記走行予定経路上のコストが最小となるように前記走行予定経路を設定することを含み、
    前記所定の行動を検出することは、前記他の車両が実施した車線変更を前記他の車両が実施した前記所定の行動として検出することを含み、
    前記少なくとも一つの挙動特徴情報を抽出することは、前記他の車両のターンシグナルが点滅した状態に変化したことを、前記所定の行動と関連する信号灯の状態に変化したこととし、かつ、前記追跡期間において前記他の車両が車線変更前にターンシグナルを点滅させてから前記他の車両が車線変更を実施するまでの猶予期間の平均値を前記少なくとも一つの挙動特徴情報の一つとして抽出することを含み、
    前記第２の識別器は、前記物体領域内の画素値から求められる特徴が入力されると前記他の車両の信号灯であるターンシグナルが点滅状態である確信度を出力し、前記他の車両の信号灯の状態を識別することは、前記確信度が確信度閾値以上である場合、前記ターンシグナルが点滅状態であると識別し、かつ、前記猶予期間の平均値が所定の閾値未満である場合、前記確信度閾値を所定値だけ低下させることを含む、
    車両制御方法。
  13. 車両の走行を制御するための車両制御用コンピュータプログラムであって、
    前記車両に搭載された撮像部により時系列に得られる一連の画像を、第１の識別器に入力することで、前記一連の画像のそれぞれについて、前記画像上で前記車両の周囲の他の車両を含む物体領域を検出し、
    前記一連の画像のそれぞれの前記物体領域に基づいて前記他の車両を追跡することで、前記他の車両の軌跡を推定し、
    推定した前記軌跡に基づいて、前記他の車両が実施した所定の行動を検出し、
    前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、再帰構造を有し、または時間軸方向における畳み込み演算を実行する第２の識別器に入力することで、前記他の車両の信号灯の状態を識別し、
    前記他の車両が追跡されている追跡期間において検出された前記所定の行動と、前記追跡期間において識別された、前記所定の行動と関連する前記他の車両の信号灯の状態とに基づいて、前記他の車両が前記所定の行動を実施するときの前記信号灯の状態または前記他の車両の行動の特徴を表す少なくとも一つの挙動特徴情報を抽出し、
    前記少なくとも一つの挙動特徴情報に従って前記他の車両の挙動を予測し、
    予測した前記他の車両の挙動に基づいて、前記車両が走行する予定の走行予定経路を設定し、
    前記走行予定経路に沿って前記車両が走行するように前記車両を制御する、
    ことを前記車両に搭載されたプロセッサに実行させ、
    前記走行予定経路を設定することは、前記軌跡に基づいて、前記他の車両が現在から所定時間先までの間に通ると予測される予測軌跡を求めて前記予測軌跡が通る地点のコストを他の地点よりも高く設定するコストマップを生成し、前記コストマップを前記少なくとも一つの挙動特徴情報に従って補正することで、予測した前記他の車両の挙動を表す補正されたコストマップを求め、当該補正されたコストマップに従って、前記走行予定経路上のコストが最小となるように前記走行予定経路を設定することを含み、
    前記所定の行動を検出することは、前記他の車両が実施した車線変更を前記他の車両が実施した前記所定の行動として検出することを含み、
    前記少なくとも一つの挙動特徴情報を抽出することは、前記他の車両のターンシグナルが点滅した状態に変化したことを、前記所定の行動と関連する信号灯の状態に変化したこととし、かつ、前記追跡期間において前記他の車両が車線変更前にターンシグナルを点滅させてから前記他の車両が車線変更を実施するまでの猶予期間の平均値を前記少なくとも一つの挙動特徴情報の一つとして抽出することを含み、
    前記第２の識別器は、前記物体領域内の画素値から求められる特徴が入力されると前記他の車両の信号灯であるターンシグナルが点滅状態である確信度を出力し、前記他の車両の信号灯の状態を識別することは、前記確信度が確信度閾値以上である場合、前記ターンシグナルが点滅状態であると識別し、かつ、前記猶予期間の平均値が所定の閾値未満である場合、前記確信度閾値を所定値だけ低下させることを含む、
    車両制御用コンピュータプログラム。
JP2020068685A 2020-04-06 2020-04-06 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム Active JP7388971B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020068685A JP7388971B2 (ja) 2020-04-06 2020-04-06 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US17/218,280 US11685405B2 (en) 2020-04-06 2021-03-31 Vehicle controller, method, and computer program for vehicle trajectory planning and control based on other vehicle behavior
CN202110358969.6A CN113492851B (zh) 2020-04-06 2021-04-02 车辆控制装置、车辆控制方法以及车辆控制用计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020068685A JP7388971B2 (ja) 2020-04-06 2020-04-06 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021165080A JP2021165080A (ja) 2021-10-14
JP7388971B2 true JP7388971B2 (ja) 2023-11-29

Family

ID=77920742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020068685A Active JP7388971B2 (ja) 2020-04-06 2020-04-06 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Country Status (3)

Country Link
US (1) US11685405B2 (ja)
JP (1) JP7388971B2 (ja)
CN (1) CN113492851B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
US11926343B2 (en) * 2020-07-20 2024-03-12 Tusimple, Inc. Classification and prioritization of objects for autonomous driving
JP2022044155A (ja) * 2020-09-07 2022-03-17 株式会社Subaru 画像処理装置
JP2022067928A (ja) * 2020-10-21 2022-05-09 株式会社Subaru 対象物推定装置、その対象物推定方法、および、車両
DE102020130886A1 (de) * 2020-11-23 2022-05-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur Erkennung von Bewegungen des Fahrzeugsaufbaus bei einem Kraftfahrzeug
EP4105818A1 (en) * 2021-06-18 2022-12-21 Continental Autonomous Mobility Germany GmbH Method and system for estimating road lane geometry
FR3129347B1 (fr) * 2021-11-22 2023-10-06 Psa Automobiles Sa Procédé de régulation de vitesse d’un véhicule à partir d’un objet cible.
KR20230082777A (ko) * 2021-12-02 2023-06-09 한국전자기술연구원 주행 시나리오 추천 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173195A (ja) 2002-11-22 2004-06-17 Fuji Heavy Ind Ltd 車両監視装置および車両監視方法
JP2010006271A (ja) 2008-06-27 2010-01-14 Toyota Motor Corp 運転支援装置
WO2019065411A1 (ja) 2017-09-29 2019-04-04 日立オートモティブシステムズ株式会社 車両検知システム
JP2019102049A (ja) 2017-11-30 2019-06-24 東軟集団股▲分▼有限公司 車線検出のための方法及び装置
JP2019151309A (ja) 2018-03-06 2019-09-12 日産自動車株式会社 動作予測方法及び動作予測装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE531668C2 (sv) * 2006-07-05 2009-06-30 Scania Cv Ab Anordning för bestämning av en omgivningssituation
JP4371137B2 (ja) 2006-11-10 2009-11-25 トヨタ自動車株式会社 自動運転制御装置
JP4941059B2 (ja) 2007-04-02 2012-05-30 株式会社豊田中央研究所 運転支援装置
JP5518007B2 (ja) * 2011-07-11 2014-06-11 クラリオン株式会社 車両用外界認識装置及びそれを用いた車両制御システム
US20140279707A1 (en) * 2013-03-15 2014-09-18 CAA South Central Ontario System and method for vehicle data analysis
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
JP6339537B2 (ja) 2015-07-31 2018-06-06 矢崎エナジーシステム株式会社 運転評価装置
US10800455B2 (en) * 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
CN107180220B (zh) 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
JP2017162438A (ja) 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
JP6867153B2 (ja) 2016-12-21 2021-04-28 ホーチキ株式会社 異常監視システム
KR102535540B1 (ko) 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
JP6897170B2 (ja) 2017-03-07 2021-06-30 株式会社デンソー 走行制御装置
JP6673293B2 (ja) 2017-05-24 2020-03-25 トヨタ自動車株式会社 車両システム
JP6729516B2 (ja) 2017-07-27 2020-07-22 トヨタ自動車株式会社 識別装置
US10733465B2 (en) * 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10691962B2 (en) 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
JP2019070934A (ja) 2017-10-06 2019-05-09 東芝デジタルソリューションズ株式会社 映像処理装置、映像処理方法およびプログラム
US20190113920A1 (en) * 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle using model predictive control
US10762396B2 (en) 2017-12-05 2020-09-01 Utac, Llc Multiple stage image based object detection and recognition
JP6917878B2 (ja) 2017-12-18 2021-08-11 日立Astemo株式会社 移動体挙動予測装置
TWI649698B (zh) 2017-12-21 2019-02-01 財團法人工業技術研究院 物件偵測裝置、物件偵測方法及電腦可讀取媒體
JP7206048B2 (ja) * 2018-03-05 2023-01-17 日産自動車株式会社 運転特性推定方法及び運転特性推定装置
US11521044B2 (en) 2018-05-17 2022-12-06 International Business Machines Corporation Action detection by exploiting motion in receptive fields
US10760918B2 (en) * 2018-06-13 2020-09-01 Here Global B.V. Spatiotemporal lane maneuver delay for road navigation
CN110660254B (zh) 2018-06-29 2022-04-08 北京市商汤科技开发有限公司 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备
KR20210035269A (ko) 2018-07-30 2021-03-31 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드 서로 다른 이미지 필드들에 대해 훈련된 다중 신경망을 사용한 오브젝트 검출
EP3850548A1 (en) * 2018-09-11 2021-07-21 NVIDIA Corporation Future object trajectory predictions for autonomous machine applications
JP7052663B2 (ja) 2018-09-26 2022-04-12 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP7147420B2 (ja) 2018-09-26 2022-10-05 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11704782B2 (en) 2018-10-03 2023-07-18 The Toronto-Dominion Bank Computerized image analysis for automatically determining wait times for a queue area
KR102630320B1 (ko) * 2018-11-15 2024-01-30 모빌아이 비젼 테크놀로지스 엘티디. 다중 프레임 시맨틱 신호의 고속 cnn 분류
KR20200057414A (ko) * 2018-11-16 2020-05-26 삼성전자주식회사 주행 가이드 정보를 제공하는 전자 장치 및 그 방법
US20220051413A1 (en) 2019-03-13 2022-02-17 Nec Corporation Object tracking device, object tracking method, and recording medium
JP7106477B2 (ja) 2019-03-20 2022-07-26 本田技研工業株式会社 車両制御装置
DE102019206178A1 (de) * 2019-04-30 2020-11-05 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Abschätzen einer Fahrspurwechselabsicht eines Fahrzeugs
JP7253441B2 (ja) 2019-05-09 2023-04-06 東芝テック株式会社 追跡装置及び情報処理プログラム
CN112307833A (zh) 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 识别智能行驶设备的行驶状态的方法及装置、设备
US11003928B2 (en) 2019-08-08 2021-05-11 Argo AI, LLC Using captured video data to identify active turn signals on a vehicle
US11301754B2 (en) 2019-12-10 2022-04-12 Sony Corporation Sharing of compressed training data for neural network training
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7472832B2 (ja) 2021-03-16 2024-04-23 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173195A (ja) 2002-11-22 2004-06-17 Fuji Heavy Ind Ltd 車両監視装置および車両監視方法
JP2010006271A (ja) 2008-06-27 2010-01-14 Toyota Motor Corp 運転支援装置
WO2019065411A1 (ja) 2017-09-29 2019-04-04 日立オートモティブシステムズ株式会社 車両検知システム
JP2019102049A (ja) 2017-11-30 2019-06-24 東軟集団股▲分▼有限公司 車線検出のための方法及び装置
JP2019151309A (ja) 2018-03-06 2019-09-12 日産自動車株式会社 動作予測方法及び動作予測装置

Also Published As

Publication number Publication date
JP2021165080A (ja) 2021-10-14
US11685405B2 (en) 2023-06-27
CN113492851B (zh) 2024-02-27
US20210309214A1 (en) 2021-10-07
CN113492851A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
JP7388971B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US11093801B2 (en) Object detection device and object detection method
US11308717B2 (en) Object detection device and object detection method
JP7359735B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7226368B2 (ja) 物体状態識別装置
JP2022036726A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN113492750B (zh) 信号灯状态识别装置及识别方法、控制装置、计算机可读取的记录介质
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
JP7348874B2 (ja) 傾斜角検出装置及び制御装置
US20230177844A1 (en) Apparatus, method, and computer program for identifying state of lighting
JP2024030951A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2022146384A (ja) 物体検出装置
JP2023092183A (ja) 追跡装置、追跡方法及び追跡用コンピュータプログラム
JP2023084575A (ja) 点灯状態識別装置
JP2022079954A (ja) 物体検出装置
JP2021138338A (ja) 車両制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231116

R151 Written notification of patent or utility model registration

Ref document number: 7388971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151