JP7310424B2 - 車両走行システム - Google Patents

車両走行システム Download PDF

Info

Publication number
JP7310424B2
JP7310424B2 JP2019144308A JP2019144308A JP7310424B2 JP 7310424 B2 JP7310424 B2 JP 7310424B2 JP 2019144308 A JP2019144308 A JP 2019144308A JP 2019144308 A JP2019144308 A JP 2019144308A JP 7310424 B2 JP7310424 B2 JP 7310424B2
Authority
JP
Japan
Prior art keywords
vehicle
information
driving
driver
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019144308A
Other languages
English (en)
Other versions
JP2021026524A (ja
Inventor
康太 多羅尾
大樹 粟野
邦明 陣内
佳大 前川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019144308A priority Critical patent/JP7310424B2/ja
Priority to US16/901,084 priority patent/US20210039677A1/en
Priority to CN202010549821.6A priority patent/CN112429014B/zh
Publication of JP2021026524A publication Critical patent/JP2021026524A/ja
Application granted granted Critical
Publication of JP7310424B2 publication Critical patent/JP7310424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881Seat occupation; Driver or passenger presence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、車両走行システムに関する。
特許文献1には、乗員(以下、「運転者」という)の運転操作により車両を走行させる手動運転と車両を自動で走行させる自動運転とを切り替え可能とされた車両に関する技術が開示されている。
この先行技術では、車両の現在のトリップにおける手動運転時の運転者の運転特性と予め記憶された基準運転特性とを比較して、現在のトリップにおける手動運転時の運転者の運転特性と基準運転特性との間に所定の乖離が生じた場合に、現在のトリップにおける手動運転時の運転者の運転特性(例えば、急いでいる状況等)に応じて自動運転に適用する運転特性が設定されるようになっている。
すなわち、上記先行技術では、現在のトリップにおける手動運転時の運転者の運転特性に合わせて自動運転の制御を行うため、手動運転から自動運転へ切り替わっても運転者の運転特性はそのまま引き継がれることとなる。
WO2017/203694号公報
一方、遠隔操作によりオペレータが操作(リモート運転)可能な車両について検討した場合、自動運転に代えて、手動運転からリモート運転への切り替えとなるが、自動運転とは異なりリモート運転の操作は人が行うため、車両の走行時においてオペレータは常にスタンバイしておかなければならない状況となる。
本発明は、上記に鑑み、オペレータの負担を軽減可能な車両走行システムを得ることを目的とする。
請求項1に記載の車両走行システムは、手動運転とリモート運転を切り替え可能な車両を手動運転する運転者にとって、苦手な場所及び苦手な状態のうち少なくとも一方を含む手動運転時の苦手な状況下において収集された少なくとも前記車両の周辺の状況を示す画像情報及び前記手動運転時の状態を示す運転時情報を用いて生成された学習済みモデルに対して、現在の車両走行時において取得された少なくとも現在の前記車両の周辺の状況を示す画像情報及び現在の前記手動運転時の状態を示す運転時情報を入力して、現在の状況が前記苦手な状況か否かを判定する判定部と、前記判定部によって前記苦手な状況と判定された場合に、前記手動運転を前記リモート運転に切り替え可能な切替部と、を有している。
請求項1に記載の車両走行システムでは、学習済みモデルを用いた判定を行う判定部と切替部とが備わっている。学習済みモデルは、手動運転とリモート運転を切り替え可能な車両を手動運転する運転者にとって、苦手な場所及び苦手な状態のうち少なくとも一方を含む手動運転時の苦手な状況下において収集された少なくとも車両の周辺の状況を示す画像情報(画像情報A)及び手動運転時の状態を示す運転時情報(運転時情報A)を用いて生成される。
判定部では、現在の車両走行時において取得された少なくとも現在の車両の周辺の状況を示す画像情報(画像情報B)及び現在の手動運転時の状態を示す運転時情報(運転時情報B)を当該学習済みモデルに入力して、現在の状況が当該苦手な状況か否かが判定される。そして、切替部では、判定部によって苦手な状況と判定された場合に、手動運転をリモート運転に切り替え可能とされる。
以上のように、本発明では、判定部において苦手な状況であると判定された場合に、車両は、運転者が行う手動運転からオペレータによるリモート運転に切り替え可能とされる。これにより、本発明では、運転者は、苦手な状況での手動運転を回避することが可能となる。裏を返せば、運転者は、苦手な状況以外では手動運転を行うため、オペレータは、常時リモート運転を行う必要がなくなり、オペレータの負担は軽減される。
ここで、「苦手な状況」とは、苦手な場所で手動運転する状況、苦手な状態で手動運転する状況のことである。例えば、「苦手な場所」とは、高速道路の合流地点、狭い駐車場など、運転が苦手な場所、細い道等である。また、「苦手な状態」とは、対向車が近づいて来る状態、雨が降っている状態等の運転が苦手な状態以外に、免許取り立ての状態、特定の車種を運転する状態等、運転が不安な状態も含まれる。
「車両の周辺の状況」とは、例えば、走行路の幅、車両の周囲の他車両、天候、明るさ、歩行者に限らず障害物等をいう。
「運転時情報」は、例えば、運転者が手動運転する車両の挙動情報又は運転者の生体情報をいい、これらの情報により、運転者が緊張している状態であるか否かが判る。つまり、運転者が緊張している状態であると推定されることによって、運転者が苦手な状況下にいると推定される。
請求項2に記載の車両走行システムは、請求項1に記載の車両走行システムにおいて、前記手動運転時の状態を示す運転時情報は、前記車両の挙動を検出する挙動センサで検出された挙動情報を含んでいる。
請求項2に記載の車両走行システムでは、手動運転時の状態を示す運転時情報は、車両の挙動を検出する挙動センサで検出された挙動情報を含んでおり、車両の挙動情報から「苦手な状況」が検出可能とされる。
ここで、「車両の挙動情報」には、例えば、車両の車速、加速度、角速度、操舵角等の情報が含まれ、ブレーキを多発等、車両の挙動が不安定な場合、運転者が緊張している状態であると推定される。
請求項3に記載の車両走行システムは、請求項1又は請求項2に記載の車両走行システムにおいて、前記手動運転時の状態を示す運転時情報は、前記運転者の生体状態を検出する生体センサで検出された生体情報を含んでいる。
請求項3に記載の車両走行システムでは、手動運転時の状態を示す運転時情報は、運転者の生体状態を検出する生体センサで検出された生体情報を含んでおり、運転者の生体情報から「苦手な状況」が検出可能とされる。
ここで、「運転者の生体情報」には、例えば、運転者の脈拍、脳波、血圧、心拍数等の生体情報が含まれ、運転者の脈拍が早くなる等、運転者の生体情報において数値が安定しない場合、運転者が緊張している状態であると推定される。
請求項4に記載の車両走行システムは、請求項1~請求項3の何れか1項に記載の車両走行システムにおいて、前記切替部により前記手動運転から前記リモート運転に切り替える場合に、前記リモート運転を行うオペレータ側に当該手動運転から当該リモート運転に切り替える切替通知を送信する通知部を更に有している。
請求項4に記載の車両走行システムでは、通知部が設けられており、切替部により手動運転からリモート運転に切り替える場合に、当該通知部によって、リモート運転を行うオペレータに対して、手動運転からリモート運転に切り替える切替通知が送信される。
以上説明したように、請求項1に係る車両走行システムは、オペレータの負担を軽減することができる、という優れた効果を有する。
請求項2に係る車両走行システムは、車両の挙動情報から運転者が苦手な状況下にいると推定することができる、という優れた効果を有する。
請求項3に係る車両走行システムは、運転者の生体情報から運転者が苦手な状況下にいると推定することができる、という優れた効果を有する。
請求項4に係る車両走行システムは、手動運転からリモート運転に切り替わることをオペレータに対して事前に認知させることができる、という優れた効果を有する。
本実施の形態に係る車両走行システムの概略構成を示す構成図である。 本実施の形態に係る車両走行システムに用いられる車両のハードウェア構成を示すブロック図である。 本実施の形態に係る車両走行システムに用いられる車両の車両制御装置の作用を説明するためのブロック図である。 本実施の形態に係る車両走行システムに用いられる車両の車両制御装置の作用を説明するためのブロック図である。 本実施の形態に係る車両走行システムに用いられる車両の車両制御装置の機能構成を示すブロック図である。 本実施の形態に係る車両走行システムに用いられる遠隔操作装置のハードウェア構成を示すブロック図である。 本実施の形態に係る車両走行システムに用いられる遠隔制御装置の機能構成を示すブロック図である。 本実施の形態に係る車両走行システムに用いられる情報サーバのハードウェア構成を示すブロック図である。 本実施の形態に係る車両走行システムに用いられる情報サーバの機能構成の例を示すブロック図である。 本実施の形態に係る車両走行システムにおける運転者情報に応じた、手動運転からリモート運転への切り替え等を行う処理の流れを説明するフローチャートである。
(概要)
まず、本実施の形態に係る車両走行システムの概要について説明する。
図1には、本実施の形態に係る車両走行システム10の概略構成を示す構成図が示されている。図1に示されるように、本実施の形態に係る車両走行システム10は、手動運転及びリモート運転可能な車両(自動車)12と、当該車両12をリモート運転する遠隔操作装置16と、情報サーバ18と、を含んで構成されている。
本実施形態における車両12は、車両制御装置20を備えており、遠隔操作装置16は遠隔制御装置40を備えている。そして、車両走行システム10において、車両12の車両制御装置20、遠隔操作装置16の遠隔制御装置40、及び情報サーバ18は、ネットワークNを介して相互に接続されている。
なお、図1の車両走行システム10は、1台の車両12、1台の遠隔操作装置16、及び1台の情報サーバ18により構成されているが、台数はこれに限らない。このため、車両走行システム10は、車両12を2台以上含んで構成されてもよいし、遠隔操作装置16及び情報サーバ18をそれぞれ2台以上含んで構成されてもよい。
また、本実施形態では、車両12は、運転者の操作に基づく手動運転及び遠隔操作装置16におけるリモートドライバ(オペレータ)の操作に基づくリモート運転が可能とされるが、リモート運転に代えて自動運転が可能となるように設定されてもよい。
(車両)
図2には、本実施形態の形態に係る車両走行システムに用いられる車両12に搭載される機器のハードウェア構成を示すブロック図が示されている。
図2に示されるように、車両12は、上述した車両制御装置20の他、GPS(Global Positioning System)装置22と、外部センサ24と、内部センサ26と、地図データベース28と、ナビゲーションシステム30と、操作装置32と、生体センサ34と、アクチュエータ36と、を備えている。
車両制御装置20は、CPU(Central Processing Unit)20A、ROM(Read Only Memory)20B、RAM(Random Access Memory)20C、ストレージ20D、通信I/F(Inter Face)20E及び入出力I/F20Fを含んで構成されている。CPU20A、ROM20B、RAM20C、ストレージ20D、通信I/F20E及び入出力I/F20Fは、バス20Gを介して相互に通信可能に接続されている。
ここで、CPU20Aは、中央演算処理ユニットであり、各種プログラムを実行し、また、各部の制御を行う。すなわち、CPU20Aは、ROM20Bからプログラムを読み出し、RAM20Cを作業領域としてプログラムを実行する。本実施形態では、ROM20Bに実行プログラムが記憶されている。
CPU20Aが、実行プログラムを実行することで、車両制御装置20は、後述するが、図3に示す位置取得部200、周辺情報取得部210、車両情報取得部220、走行計画生成部230、操作受付部240、走行制御部250、学習部252、運転者情報取得部260、判定部262、通信部270、通知部280、及び操作切替部290として機能する。なお、図3には、本実施の形態に係る車両走行システム10に用いられる車両12における車両制御装置20の機能構成の例を示すブロック図が示されている。
前述のように、図2に示すROM20Bは、各種プログラム及び各種データを記憶している。一方、RAM20Cは、作業領域として一時的にプログラム又はデータを記憶する。
ストレージ20Dは、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、ストレージ20Dには、学習プログラム21及び特定の状況を判断する「特定の状況」判定プログラム27を含むオペレーティングシステムが記憶される。
この場合、CPU20Aは、ストレージ20Dから学習プログラム21を読み出してからRAM20Cに展開し、展開した学習プログラム21を実行する。また、CPU20Aは、ストレージ20Dから「特定の状況」判定プログラム27を読み出してからRAM20Cに展開し、展開した「特定の状況」判定プログラム27を実行する。さらに、ストレージ20Dには、学習用データ23及び学習済みモデル25が記憶される。
ここで、図4に示すように、学習用データ23には、手動運転時の特定の状況下において収集された、車両12の周辺の状況を示す画像情報A及び車両12の挙動に関するデータを含む運転時情報Aが記憶されている。なお、学習済みモデル25については後述する。
また、「特定の(苦手な)状況」とは、例えば、苦手な場所で手動運転する状況及び苦手な状態で手動運転する状況である。「苦手な場所」とは、例えば、高速道路の合流地点、狭い駐車場等、運転が苦手な場所、細い道等である。「苦手な状態」とは、対向車が近づいて来る状態、雨が降っている状態等の運転が苦手な状態以外に、免許取り立ての状態、特定の車種を運転する状態等、運転が不安な状態も含まれる。このため、「特定の状況」では、例えば、低速で走行したり、ブレーキペダルの操作回数が増えたりする等、通常の状況とは異なる挙動となる。
通信I/F20Eは、図1に示す遠隔制御装置40及び情報サーバ18等と通信すべく、ネットワークNに接続するためのインタフェースを含んで構成されている。当該インタフェースは、例えば、LTE、Wi-Fi(登録商標)等の通信規格が用いられる。
なお、図2に示す通信I/F20Eは、DSRC(Dedicated Short Range Communications)等を利用してもよい。本実施形態の通信I/F20Eは、ネットワークN(図1参照)を介して、車両12の外部の遠隔操作装置16に向けてカメラによる撮像画像を送信し、遠隔操作装置16から車両12を操作させるための操作情報である遠隔操作情報を受信する。
入出力I/F20Fは、車両12に搭載される各装置と通信するためのインタフェースを含んで構成されている。本実施形態の車両制御装置20には、入出力I/F20Fを介してGPS装置22、外部センサ24、内部センサ26、地図データベース28、ナビゲーションシステム30、操作装置32と、生体センサ34及びアクチュエータ36が接続されている。
なお、GPS装置22、外部センサ24、内部センサ26、地図データベース28、ナビゲーションシステム30、操作装置32と、生体センサ34及びアクチュエータ36は、バス20Gに対して直接接続されてもよい。また、これらは、CAN(Controller Area Network)を介して接続されてもよいし、各種ECUやゲートウエイECUを経由して接続されてもよい。
GPS装置22は、車両12の現在位置を測定する装置であり、GPS衛星からの信号を受信するアンテナ(図示省略)を含んで構成されている。具体的には、GPS装置22は、3個以上のGPS衛星から信号を受信することにより、車両12の位置(例えば車両の緯度及び経度)を測位しており、測位した車両12の位置情報を入出力I/F20Fに接続された機器へ送信される。なお、GPS装置22に代えて、車両12の緯度及び経度が特定できる他の手段を用いてもよい。
外部センサ24は、車両12の周辺の周辺情報を検出するセンサ群である。外部センサ24は、所定範囲を撮像するカメラ24Aと、所定範囲に探査波を送信するレーダー24Bと、所定範囲をスキャンするライダー24C(Lider:Laser Imaging Detection and Ranging)のうち、少なくとも一つを含んで構成されている。
カメラ24Aは、図示はしないが、例えば、車両12のフロントガラス上部の室内側に設けられ、車両12の外部状況を撮影して画像情報Bを取得する。本実施形態では、当該カメラ24Aによって、車両12の現在の周辺の状況を示す画像情報Bが取得される。カメラ24Aにより取得した現在の画像情報Bは、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。なお、カメラ24Aは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラの場合、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラの画像情報Bには、奥行き方向の情報も含まれる。
レーダー24Bは、車両12の周囲に電波(例えばミリ波)を送信し障害物で反射された電波を受信することで障害物までの距離を計測する。レーダー24Bにより検出された障害物情報は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。
ライダー24Cは、車両12の周囲に光を送信し障害物で反射された光を受信することで反射点までの距離を計測して障害物を検出する。ライダー24Cにより検出された障害物情報は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。なお、カメラ24A、レーダー24B及びライダー24Cは、必ずしも重複して備える必要はない。
内部センサ(挙動センサ)26は、車両12の走行時の各種物理量を検出することにより車両12の走行状態等、車両12の挙動を検出するセンサであり、例えば、車速センサ26A、加速度センサ26B、及びヨーレートセンサ26Cのうち少なくとも一つを含んでいる。本実施形態では、当該内部センサ26によって、運転者が手動運転する車両12の現在の挙動情報(運転時情報B)が取得される。なお、本実施形態における「車両の挙動情報」には、例えば、車両の車速、加速度、角速度、操舵角等の情報が含まれる。
車速センサ26Aは、例えば、車両の車輪又は車輪と一体に回転するハブやロータ、ドライブシャフト等に設けられ、車輪の回転速度を検出することで車速を検出する。車速センサにより検出された車速情報(車輪速情報)は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。
加速度センサ26Bは、車両の加減速や、旋回、衝突等によって発生する加速度を検出する。加速度センサは、例えば、車両の前後方向の加速度を検出する前後加速度センサと、車両の左右方向(車幅方向)の横加速度を検出する横加速度センサと、車両の上下方向の加速度を検出する上下加速度センサと、を含んでおり、車両の加速度情報は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。
ヨーレートセンサ26Cは、車両の重心の鉛直軸周りのヨーレート(回転角速度)を検出する。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサにより検出されたヨーレート情報は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。
なお、これらのセンサ以外にも、図示はしないが、操舵角センサによりステアリングホイールの操舵角、又や操作量センサによりアクセルペダルの操作量、ブレーキペダルの操作量を検出可能としてもよい。
以上のような内部センサ26により、車両12の挙動情報が取得され、これにより、例えば、車両12が低速で走行したり、ブレーキペダルの操作回数が増えたりする等、通常の状況とは異なる挙動についての判断が可能とされる。このように、車両12の挙動から、運転者が緊張している状態であるか否かが推定可能とされる。つまり、運転者が緊張している状態であると推定されることによって、運転者が特定の状況下にいると推定される。
地図データベース28は、地図情報を備えたデータベースであり、例えば、車両12に搭載されたHDD(Hard disk drive)内に記憶される。地図情報には、例えば、道路の位置情報、道路形状の情報(例えばカーブ、直線部の種別、カーブの曲率等)、交差点及び分岐点の位置情報が含まれる。
さらに、建物や壁等の遮蔽構造物の位置情報、SLAM(Simultaneous Localization and Mapping)技術を使用するために、地図情報に外部センサ14の出力信号を含ませてもよい。なお、地図データベース28は、図示はしないが、車両12と通信可能な情報処理センター等の施設のコンピュータに記憶させてもよい。
ナビゲーションシステム30は、車両12の運転者によって設定された目的地まで車両12の運転者に対して案内を行うシステムであり、GPS装置22によって測位された車両12の位置情報と地図データベース28の地図情報とに基づいて、車両12の走行するルートを算出する。ルートは、複数車線の区間において好適な車線を特定したものであってもよい。
また、ナビゲーションシステム30は、例えば、車両12の位置から目的地に至るまでの目標ルートを演算し、ディスプレイへの表示及びスピーカの音声出力により目標ルートを乗員に報知する。また、ナビゲーションシステム30による車両12の目標ルートの情報は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。
操作装置32は、車両12を運転する運転者が操作するためのスイッチ群である。操作装置32は、車両12の操舵輪を操舵させるスイッチとしてのステアリングホイールと、車両12を加速させるスイッチとしてのアクセルペダルと、車両12を減速させるスイッチとしてのブレーキペダルと、を含んで構成されている。操作装置32による走行情報は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。
なお、本実施形態において、生体センサ34が設けられてもよい。生体センサ34は、運転者の現在の生体情報(運転時情報B)が検出可能なセンサである。「運転者の生体情報」として、例えば、運転者の脈拍、脳波、血圧、心拍数等の生体情報が挙げられる。この場合、生体センサ34による生体情報は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。運転者の生体情報から運転者が緊張している状態であるか否かが推定可能とされる。前述のように、運転者が緊張している状態であると推定されることによって、運転者が特定の状況下にいると推定される。
また、これ以外にも、図示はしないが、室内用カメラを用いて、運転者の現在の顔の表情等の画像情報(運転時情報B)が取得されるように設定されてもよい。この場合、当該室内用カメラによる画像情報は、入出力I/F20Fに送信され、当該入出力I/F20Fを介して入出力I/F20Fに接続された機器へ送信される。運転者の画像情報から運転者が緊張している状態であるか否かが推定可能とされる。
アクチュエータ36は、操舵機構としてのステアリングアクチュエータと、アクセルアクチュエータと、ブレーキアクチュエータと、を含んで構成されている。ステアリングアクチュエータは、車両12の前輪の操舵を行うものである。アクセルアクチュエータは、走行用モータを制御することで、車両12の加速を行うものである。また、ブレーキアクチュエータは、ブレーキを制御することで、車両12の減速を行うものである。
ところで、前述のように、図3に示す車両制御装置20は、位置取得部200、周辺情報取得部210、車両情報取得部220、走行計画生成部230、操作受付部240、走行制御部250、学習部252、運転者情報取得部260、判定部262、通信部270、通知部280、及び操作切替部(切替部)290を有している。各構成の機能は、図2に示すCPU20AがROM20Bに記憶された実行プログラムを読み出し、これを実行することによって実現される。
図3に示す位置取得部200は、車両12の現在位置を取得する機能を有しており、入出力I/F20F(図2参照)を介してGPS装置22(図2参照)から車両12の位置情報を取得する。
周辺情報取得部210は、車両12の現在の周辺情報(画像情報B)を取得する機能を有しており、入出力I/F20Fを介して外部センサ24(図2参照)から車両12の周辺情報を取得する。「周辺情報」には、車両12の周囲の他車両、天候、明るさ、走行路の幅、歩行者に限らず障害物等が含まれる。
車両情報取得部220は、車両12の現在の挙動情報(運転時情報B)を取得する機能を有しており、入出力I/F20Fを介して内部センサ26(図2参照)から車両12の挙動情報を取得する。「挙動情報」には、車両12の車速、加速度、操舵角等が含まれる。
走行計画生成部230は、位置取得部200で取得された位置情報、周辺情報取得部210で取得された周辺情報(画像情報B)、車両情報取得部220で取得された車両12の挙動情報(運転時情報B)に基づき、入出力I/F20Fを介してナビゲーションシステム30(図2参照)により車両12を走行させるための走行計画を生成する機能を有している。走行計画には、予め設定された目的地までの走行ルートのみならず、車両12前方の障害物を回避するための進路、車両12の速度等の情報が含まれる。
操作受付部240は、車両12の運転者の操作に基づく手動運転が行われる場合に、入出力I/F20Fを介して操作装置32(図2参照)から出力された信号を受け付ける機能を有している。そして、操作受付部240は、操作装置32から受け付けた信号を基に入出力I/F20Fを介してアクチュエータ36(図2参照)を制御するための操作情報である車両操作情報を生成する。
走行制御部250は、操作受付部240から受け付けた車両操作情報に基づく手動運転、及び遠隔操作装置16から受信した遠隔操作情報に基づくリモート運転を制御する機能を有している。
学習部252は、図2に示すCPU20Aがストレージ20Dから学習プログラム21を読み出し、これを実行することによって実現される。具体的に説明すると、学習部252は、図4に示されるように、ストレージ20Dに記憶された学習用データ23により取得された、特定の状況下において収集された車両12の周辺の状況を示す画像情報A及び車両12の運転時情報Aを教師データとして機械学習させることによって、「特定の状況」に対応付けられた学習済みモデル25を生成する機能を有している。
なお、学習済みモデル25としては、例えば、ディープニューラルネットワークが適用される。また、この学習済みモデル25の生成には、例えば、誤差逆伝播法が用いられる。例えば、学習済みモデル25は、画像情報A及び運転時情報Aが入力された場合に、特定の状況であることを表す情報が出力されるように、ディープニューラルネットワークモデルを機械学習させることによって生成される。この出力としては、例えば、特定の状況である確率が適用される。
運転者情報取得部260は、運転者IDを取得する。なお、運転者IDは、運転者を特定するための情報であり、前述した学習済みモデル25は、運転者ID毎に生成されている。
判定部262は、図2に示すCPU20Aがストレージ20Dに記憶された「特定の状況」判定プログラム27を読み出し、これを実行することによって実現される。具体的に説明すると、図5に示されるように、判定部262は、学習済みモデル25に入力された現在の車両走行時において取得された現在の画像情報B及び現在の運転時情報Bから現在の状況が「特定の状況」か否かを判定する機能を有している。
通信部270は、後述する遠隔制御装置40(図7参照)側の通信部420(図7参照)との間で情報の送受信を行う機能を有している。通信部270は、判定部262が「特定の状況」であると判定した場合に、遠隔制御装置40に対して現在の画像情報B及び現在の運転時情報Bを送信する。また、通信部270は、後述する操作情報生成部410(図7参照)において生成された遠隔操作情報を受信する。
通知部280は、車両12を手動運転からリモート運転に切り替える場合に、リモート運転を行うオペレータに対して、手動運転からリモート運転に切り替える切替通知を送信する機能を有している。また、通知部280は、遠隔操作装置16から車両制御装置20に対して送信されたリモート運転から手動運転に切り替える切替通知を受信する機能を更に有している。
操作切替部(切替部)290は、遠隔操作装置16を操作するリモートドライバに対して、車両制御装置20が搭載された車両12を操作するための権限である操作権限を移譲する(切り替える)機能を有している。
ここで、車両制御装置20では、手動運転を行う運転者が、図示しない操作部を操作した場合、遠隔操作装置16に向けて手動運転からリモート運転への切り替えを行う切替信号又は切替準備信号が出力される。これにより、車両制御装置20の操作権限が遠隔操作装置16に切り替え可能とされる。
このように、リモートドライバに操作権限を移譲した場合、車両制御装置20は、当該リモートドライバが操作する遠隔操作装置16に対して権限移譲コマンドを送信する。権限移譲コマンドの送信は、遠隔操作装置16に対して切替通知と同時に行ってもよいし、切替通知の通知後に行ってもよい。
操作権限が車両12からリモートドライバに移ることにより、車両12では、遠隔操作装置16から受信した遠隔操作情報に基づいて、走行制御部250が車両12を走行させる。すなわち、車両12は、手動運転からリモート運転への切り替えが行われ、リモートドライバによるリモート運転が行われる。
(遠隔操作装置)
図6は、本実施形態の遠隔操作装置16に搭載される機器のハードウェア構成を示すブロック図である。
遠隔操作装置16は、上述した遠隔制御装置40の他、表示装置42と、スピーカ44と、操作装置48と、を含んでいる。また、遠隔制御装置40は、CPU40A、ROM40B、RAM40C、ストレージ40D、通信I/F40E及び入出力I/F40Fを含んで構成されている。CPU40A、ROM40B、RAM40C、ストレージ40D、通信I/F40E及び入出力I/F40Fは、バス40Gを介して相互に通信可能に接続されている。
なお、CPU40A、ROM40B、RAM40C、ストレージ40D、通信I/F40E及び入出力I/F40Fの機能は、上述した図2に示す車両制御装置20のCPU20A、ROM20B、RAM20C、ストレージ20D、通信I/F20E及び入出力I/F20Fと略同じである。
図6に示すCPU40Aは、ROM40Bからプログラムを読み出し、RAM40Cを作業領域としてプログラムを実行する。本実施形態では、ROM40Bに、処理プログラムが記憶されている。
CPU40Aが処理プログラムを実行することで、遠隔制御装置40は、図7に示す走行情報取得部400、操作情報生成部410、通信部420、通知部430及び操作切替部(切替部)440を有している。なお、図7には、本実施の形態に係る車両走行システム10に用いられる遠隔制御装置40の機能構成の例を示すブロック図が示されている。
図6に示されるように、本実施形態の遠隔制御装置40には、入出力I/F40Fを介して表示装置42、スピーカ44及び操作装置48が接続されている。なお、表示装置42、スピーカ44及び操作装置48は、バス40Gに対して直接接続されてもよい。
表示装置42は、車両12(図2参照)のカメラ(図示省略)により撮像された画像や、車両12に係る各種情報を表示させるための液晶モニタである。
スピーカ44は、車両12のカメラに付属するマイク(図示省略)により撮像画像と共に収録された音声を再生するものである。
操作装置48は、遠隔操作装置16を利用するリモート運転者としてのリモートドライバが操作するためのコントローラである。操作装置48は、車両12の操舵輪を操舵させるスイッチとしてのステアリングホイールと、車両12を加速させるスイッチとしてのアクセルペダルと、車両12を減速させるスイッチとしてのブレーキペダルと、を含んで構成されている。
なお、各操作装置48の形態はこの限りでない。例えば、ステアリングホイールに代えてレバースイッチを設けてもよい。また例えば、アクセルペダルやブレーキペダルのペダルスイッチに代えて、押しボタンスイッチやレバースイッチを設けてもよい。
ところで、前述のように、図7に示す遠隔制御装置40は、走行情報取得部400、操作情報生成部410、通信部420、通知部430及び操作切替部440を有している。
走行情報取得部400は、車両制御装置20(図2参照)から送信されたカメラの撮像画像及び音声、並びに車速等の車両情報を取得する機能を有している。取得された撮像画像や車両情報は、表示装置42に表示され、音声情報はスピーカ44から出力される。
操作情報生成部410は、リモートドライバの操作に基づくリモート運転が行われる場合に、各操作装置48から出力された信号を受け付ける機能を有している。また、操作情報生成部410は、各操作装置48から受け付けた信号を基に車両制御装置20に送信する遠隔操作情報を生成する。
通信部420は、車両制御装置20(図3参照)側の通信部270(図3参照)との間で情報の送受信を行う機能を有している。通信部420は、車両制御装置20の判定部262が「特定の状況」であると判定した場合に、通信部270から車両制御装置20から遠隔制御装置40に送信された現在の画像情報B及び現在の運転時情報Bを受信する。そして、操作情報生成部410において生成された遠隔操作情報を車両制御装置20に対して送信する。
通知部430は、通信部270(図3参照)から送信された、手動運転からリモート運転に切り替える切替通知を受信する機能を有している。また、通知部430は、リモート運転から手動運転に移行される前に、車両制御装置20に対し、リモート運転から手動運転に切り替える切替通知を送信する機能を更に有している。
操作切替部(切替部)440は、車両制御装置20に対し、リモート運転への切り替えを実行する機能を有している。遠隔操作装置16では、リモート運転を行うリモートドライバが図示しない操作部を操作した場合、車両制御装置20に向けて、手動運転からリモート運転への切り替えを行う切替信号又は切替準備信号が出力される。
例えば、車両12(図2参照)の車両制御装置20(図3参照)から操作権限に係る情報を既に受信している場合、操作切替部440は切替信号を車両制御装置20に向けて出力することにより、車両12では手動運転からリモート運転への切り替えが可能とされる。
また例えば、操作切替部440が切替準備信号を先に車両制御装置20に送信した場合、車両制御装置20の操作切替部290において操作権限が付与された段階で、車両12では手動運転からリモート運転への切り替えが行われる。なお、操作切替部440では、車両12に対し、リモート運転から手動運転への切り替えも可能とされる。
(情報サーバ)
図8には、本実施の形態に係る車両走行システムに用いられる情報サーバ18のハードウェア構成を示すブロック図が示されている。
図8に示されるように、情報サーバ18は、CPU60A、ROM60B、RAM60C、ストレージ60D及び通信I/F60Eを含んで構成されている。CPU60A、ROM60B、RAM60C、ストレージ60D及び通信I/F60Eは、バス60Gを介して相互に通信可能に接続されている。
なお、CPU60A、ROM60B、RAM60C、ストレージ60D及び通信I/F60Eの機能は、上述した図2に示す車両制御装置20のCPU20A、ROM20B、RAM20C、ストレージ20D及び通信I/F20Eと略同じである。
図8に示すCPU60Aは、ROM60B又はストレージ60Dからプログラムを読み出し、RAM60Cを作業領域としてプログラムを実行する。
本実施形態では、ストレージ60Dに情報処理プログラムが記憶されている。CPU60Aが情報処理プログラムを実行することで、図9に示す外部情報取得部600及び周辺情報生成部610が機能する。
図9は、情報サーバ18の機能構成の例を示すブロック図である。図9に示されるように、情報サーバ18は、外部情報取得部600及び周辺情報生成部610を有している。
外部情報取得部600は、情報サーバ18の外部から、種々の情報を取得する機能を有している。取得される情報には、環境情報である気象情報、地震情報、交通情報の他にニュース情報、他の車両のセンサにより取得された情報を含む。
周辺情報生成部610は、外部情報取得部600が取得した情報を基に車両制御装置20に送信するための周辺情報を生成する機能を有している。例えば、周辺情報生成部610は、外部情報取得部600により取得された情報のうち、環境情報を送信する車両12の現在地周辺の情報を車両12向けの周辺情報として生成する。
(車両の作用及び効果)
次に、本実施の形態に係る車両の作用及び効果について説明する。
本実施形態では、図5に示されるように、車両走行システム10には、学習済みモデル25を用いた判定を行う判定部262と切替部290とが備わっている。学習済みモデル25は、図4に示されるように、手動運転とリモート運転を切り替え可能な車両12を手動運転する運転者にとって、手動運転時の特定の状況下において収集された車両12の周辺の状況を示す画像情報A及び手動運転時の状態を示す運転時情報Aを用いて生成されたものである。
図5に示されるように、判定部262では、現在の車両走行時において取得された現在の画像情報B及び現在の運転時情報Bを当該学習済みモデル25に入力して、現在の状況が当該特定の状況か否かが判定される。
具体的には、判定部262は、例えば、現在の画像情報B及び現在の運転時情報Bを学習済みモデル25に入力し、学習済みモデル25からの出力が特定の状況であることを表す情報か否か(例えば、特定の状況である確率が閾値以上であるか否か)を判定することによって、現在の状況が特定の状況か否かを判定する。そして、操作切替部290では、判定部262によって特定の状況と判定された場合、手動運転をリモート運転に切り替え可能とされる。
以下、本実施形態において、運転者情報に応じて、車両12の手動運転と遠隔操作装置16によるリモート運転との間で切り替えを行う切替処理の流れの一例について、図2~図7を参照しつつ、図10に示すフローチャートを用いて説明する。
なお、この切替処理は、CPU20Aがストレージ20D等に記憶された「特定の状況」判定プログラム27等を読み込み、RAM20Cに展開することにより実現される。
図10に示されるように、ステップS200において、CPU20Aは、ストレージ20Dに登録されている運転者IDを取得する。
次に、車両12の走行時において、ステップS202では、車両12の外部状況が撮影された画像情報Bを取得し、ステップS204では、運転者が手動運転する車両12の現在の運転時情報Bを取得する。なお、このステップS202とステップS204の処理は略同時に行われる。
次に、ステップS206では、CPU20Aは、前述したように、ステップS202、ステップS204において取得された画像情報B、運転転時情報BをステップS200で取得した運転者IDに対応する学習済みモデル25に入力して、現在の状況が特定の状況か否か判断する。
ステップS206において、特定の状況ではないと判断された場合(ステップS206:NO)、CPU20Aは、ステップS218へ移行する。一方、ステップS206において、特定の状況であると判断されると(ステップS206:YES)、CPU20Aは、ステップS208へ移行する。
ステップS208において、CPU20Aは、車両制御装置20の通知部280から遠隔制御装置40の通知部430に対して、リモート運転から手動運転に切り替える切替通知を送信する。
ステップS210では、CPU20Aは、車両12を手動運転からリモート運転へ切り替える。これにより、車両12は、リモートドライバによるリモート運転が行われる。なお、ここでは、車両制御装置20において、操作切替部290が操作されることによって、リモートドライバに操作権限が移譲される。
つまり、車両制御装置20の操作切替部290が操作された後、遠隔制御装置40の操作切替部440の操作により、車両制御装置20に向けてリモート運転への切り替えを行う切替信号が出力される。これにより、車両12では手動運転からリモート運転への切り替えが行われる。
ステップS210において、車両12が手動運転からリモート運転へ切り替えられた後、CPU20Aは、ステップS211へ移行する。ステップS211では、ステップS202と同様に、車両12の外部状況が撮影された画像情報Bを取得し、ステップS212では、ステップS204と同様に、現在の運転時情報Bを取得する。
ステップS213では、ステップS206と同様に、CPU20Aは、ステップS211、ステップS212において取得された画像情報B、運転時情報BをステップS200で取得した運転者IDに対応する学習済みモデル25に入力して、現在の状況が特定の状況か否か判断する。
ステップS213において、特定の状況が継続していると判断された場合(ステップS213:NO)、CPU20Aは、ステップS211へ移行する。一方、ステップS213において、特定の状況ではなくなったと判断されると(ステップS213:YES)、CPU20Aは、ステップS214へ移行する。
ステップS214では、CPU20Aは、遠隔制御装置40の通知部430から車両制御装置20の通知部280に対して送信された、リモート運転から手動運転へ切り替える切替通知を受信する。
ステップS216では、CPU20Aは、車両12をリモート運転から手動運転へ切り替える。これにより、車両12は、運転者による手動運転が行われる。なお、ここでは、遠隔制御装置40において、操作切替部440が操作されることによって、車両12の運転者に操作権限が移譲される。
つまり、遠隔制御装置40の操作切替部440が操作された後、車両制御装置20の操作切替部290の操作により、車両制御装置20に対して手動運転への切り替えを行う切替信号が出力される。これにより、車両12ではリモート運転から手動運転への切り替えが行われる。
ステップS216において、CPU20Aによって、車両12がリモート運転から手動運転へ切り替えられた後、CPU20Aは、ステップS218へ移行する。
ステップS218では、CPU20Aは、目的地に到着したか否か判断する。ステップS218において、目的地に到着したと判断された場合(ステップS218:YES)、運転者情報に応じて運転を切り替える切替処理の流れは終了する。なお、ステップS218において、目的地に到着しないと判断された場合(ステップS218:NO)、CPU20Aは、ステップS202に戻ることとなる。
以上のように、本実施形態では、判定部262(図3参照)において特定の状況であると判定された場合、車両12は、運転者が行う手動運転からオペレータによるリモート運転に切り替え可能とされる。これにより、当該車両12は、リモートドライバによるリモート運転が可能となり、運転者は、特定の状況、つまり苦手な状況での手動運転を回避することが可能となる。裏を返せば、運転者は、特定の状況以外では手動運転を行うため、オペレータは、常時リモート運転を行う必要がなくなり、必要に応じてスタンバイすればよく、オペレータの負担は軽減されることとなる。
また、本実施形態では、学習用データ23には、手動運転時の特定の状況下において収集された、車両12の周辺の状況を示す画像情報A及び車両12の挙動に関するデータを含む運転時情報Aが記憶されている。そして、これらの情報を教師データとしてモデルを機械学習させることによって、「特定の状況」に対応付けられた学習済みモデル25を誤差逆伝播法を用いて生成している。当該判定部262では、この学習済みモデル25に入力された現在の車両走行時において取得された現在の画像情報B及び現在の運転時情報Bから現在の状況が「特定の状況」か否かが判定される。これにより、本実施形態では、運転者にとって当該特定の状況であるか否かを高い精度で判定することが可能となる。
なお、本実施形態では、手動運転時の特定の状況下において収集された、車両12の周辺の状況を示す画像情報A及び運転時情報Aを学習用データ23としてモデルを機械学習させることによって学習済みモデル25を生成したが、学習済みモデル25の生成についてはこれに限るものではない。
例えば、生体センサ34により運転者が緊張している状態であると推定される生体情報(運転時情報A)が学習用データ23として収集されてもよい。運転者が緊張している状態であると推定されることによって、運転者が特定の状況下にいると推定されるため、生体情報が学習用データ23として収集されることにより、運転者にとって「特定の状況」として意識していない状況において、いわゆる特定の状況としてデータが収集されることとなる。このため、運転者にとって特定の状況であるか否かがさらに高い精度で判定可能とされる。
また、本実施形態では、遠隔制御装置40において、操作切替部440を操作することによって、車両12において、手動運転からリモート運転への切り替えを行うことができるように設定可能とされる。これにより、運転者の手動運転による走行状態からリモートドライバが危険だと判断したとき等に、リモートドライバにより手動運転からリモート運転への切り替えが可能とされる。
また、本実施形態では、図3に示されるように、車両制御装置20には、運転者により手動運転からリモート運転への切り替えを可能とする操作切替部290を備えている。この操作切替部290を運転者が操作することによって、車両12において、手動運転からリモート運転への切り替えを行うことができる。
これにより、本実施形態では、運転者は、苦手な場所等に限らず、車両走行中に手動運転からリモート運転への切り替えを行うことが可能となり、その間に休憩等を取ることができる。
また、本実施形態では、遠隔制御装置40(図7参照)には、車両制御装置20の操作切替部290により運転者が手動運転からリモート運転に切り替える場合に、リモートドライバに対して、切替通知を受信する通知部430(図7参照)を備えている。
したがって、本実施形態では、操作切替部290の実行により運転者によって手動運転からリモート運転に切り替えられる場合、通知部280によって送信された切替通知が通知部430によって受信される。これにより、本実施形態では、リモートドライバに対して、手動運転からリモート運転に切り替わることを事前に認知させることができる。
さらに、本実施形態では、車両制御装置20には、遠隔制御装置40(図7参照)の操作切替部440(図7参照)により手動運転からリモート運転に切り替える場合に、運転者に対して、切替通知を受信する通知部280を備えている。
したがって、本実施形態では、リモートドライバが操作切替部440により手動運転からリモート運転に切り替える場合に、通知部430によって送信された切替通知が通知部280によって受信される。これにより、本実施形態では、運転者に対して、手動運転からリモート運転に切り替わることを事前に認知させることができる。
なお、上記実施形態では、車両12として自動車を例に挙げて説明したが、本発明における車両は自動車に限らず、バスや電車にも適用可能である。
また、上記実施形態でCPU20Aがソフトウェア(プログラム)を読み込んで実行した処理、CPU40Aがソフトウェア(プログラム)を読み込んで実行した処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。
また、CPU20A、CPU40Aが行う処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶(インストール)されている態様で説明した。例えば、車両制御装置20において実行プログラムは、ROM20Bに予め記憶されている。
また、遠隔操作装置16の遠隔制御装置40において処理プログラムは、ROM40Bに予め記憶されている。しかしこれに限らず、各プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
その他、上記実施形態で説明した各制御装置、処理サーバ及びスマートフォンの各々の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
10 車両走行システム
12 車両
20 車両制御装置
25 学習済みモデル
26 内部センサ(挙動センサ)
34 生体センサ
262 判定部
280 通知部
290 操作切替部(切替部)

Claims (4)

  1. 手動運転とリモート運転を切り替え可能な車両を手動運転する運転者にとって、苦手な場所及び苦手な状態のうち少なくとも一方を含む手動運転時の苦手な状況下において収集された少なくとも前記車両の周辺の状況を示す画像情報及び前記手動運転時の状態を示す運転時情報を用いて生成された学習済みモデルに対して、現在の車両走行時において取得された少なくとも現在の前記車両の周辺の状況を示す画像情報及び現在の前記手動運転時の状態を示す運転時情報を入力して、現在の状況が前記苦手な状況か否かを判定する判定部と、
    前記判定部によって前記苦手な状況と判定された場合に、前記手動運転を前記リモート運転に切り替え可能な切替部と、
    を有する車両走行システム。
  2. 前記手動運転時の状態を示す運転時情報は、前記車両の挙動を検出する挙動センサで検出された挙動情報を含む請求項1に記載の車両走行システム。
  3. 前記手動運転時の状態を示す運転時情報は、前記運転者の生体状態を検出する生体センサで検出された生体情報を含む請求項1又は請求項2に記載の車両走行システム。
  4. 前記切替部により前記手動運転から前記リモート運転に切り替える場合に、前記リモート運転を行うオペレータ側に当該手動運転から当該リモート運転に切り替える切替通知を送信する通知部を更に有する請求項1~請求項3の何れか1項に記載の車両走行システム。
JP2019144308A 2019-08-06 2019-08-06 車両走行システム Active JP7310424B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019144308A JP7310424B2 (ja) 2019-08-06 2019-08-06 車両走行システム
US16/901,084 US20210039677A1 (en) 2019-08-06 2020-06-15 Vehicle travel system
CN202010549821.6A CN112429014B (zh) 2019-08-06 2020-06-16 车辆行驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019144308A JP7310424B2 (ja) 2019-08-06 2019-08-06 車両走行システム

Publications (2)

Publication Number Publication Date
JP2021026524A JP2021026524A (ja) 2021-02-22
JP7310424B2 true JP7310424B2 (ja) 2023-07-19

Family

ID=74501819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019144308A Active JP7310424B2 (ja) 2019-08-06 2019-08-06 車両走行システム

Country Status (3)

Country Link
US (1) US20210039677A1 (ja)
JP (1) JP7310424B2 (ja)
CN (1) CN112429014B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276886B (zh) * 2021-05-28 2022-11-25 华能煤炭技术研究有限公司 车辆驾驶模式确定方法、装置及无人车辆
CN113382294B (zh) * 2021-06-04 2023-05-12 广州小鹏汽车科技有限公司 远程驾驶舱的画面显示处理方法、装置、驾驶舱及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301963A (ja) 2005-04-20 2006-11-02 Toyota Motor Corp 遠隔操作システム
JP2008056059A (ja) 2006-08-30 2008-03-13 Equos Research Co Ltd 運転者状態推定装置及び運転支援装置
JP2016052881A (ja) 2014-09-03 2016-04-14 株式会社デンソー 車両の走行制御システム
WO2018087828A1 (ja) 2016-11-09 2018-05-17 本田技研工業株式会社 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム
JP2018077649A (ja) 2016-11-09 2018-05-17 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
JP2019026412A (ja) 2017-07-28 2019-02-21 三菱ロジスネクスト株式会社 運転支援システムおよび運転支援方法
JP2019051998A (ja) 2017-09-12 2019-04-04 三菱ロジスネクスト株式会社 運転支援システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6201916B2 (ja) * 2014-07-04 2017-09-27 株式会社デンソー 車両の運転モード制御装置
CN104802801B (zh) * 2015-05-12 2017-11-21 李春普 机动车驾驶员智能穿戴设备、评测方法及系统
EP3378722B1 (en) * 2015-11-19 2024-02-21 Sony Group Corporation Drive assistance device and drive assistance method, and moving body
CN108688675B (zh) * 2017-03-29 2021-06-29 马自达汽车株式会社 车辆驾驶支援系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006301963A (ja) 2005-04-20 2006-11-02 Toyota Motor Corp 遠隔操作システム
JP2008056059A (ja) 2006-08-30 2008-03-13 Equos Research Co Ltd 運転者状態推定装置及び運転支援装置
JP2016052881A (ja) 2014-09-03 2016-04-14 株式会社デンソー 車両の走行制御システム
WO2018087828A1 (ja) 2016-11-09 2018-05-17 本田技研工業株式会社 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム
JP2018077649A (ja) 2016-11-09 2018-05-17 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
JP2019026412A (ja) 2017-07-28 2019-02-21 三菱ロジスネクスト株式会社 運転支援システムおよび運転支援方法
JP2019051998A (ja) 2017-09-12 2019-04-04 三菱ロジスネクスト株式会社 運転支援システム

Also Published As

Publication number Publication date
US20210039677A1 (en) 2021-02-11
JP2021026524A (ja) 2021-02-22
CN112429014B (zh) 2024-06-18
CN112429014A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
US11269352B2 (en) System for building a vehicle-to-cloud real-time traffic map for autonomous driving vehicles (ADVS)
JP6894471B2 (ja) 自動運転車(adv)のサブシステムによるパトロールカーのパトロール
CN108974009B (zh) 用于自动驾驶控制的方法、介质和系统
KR102070530B1 (ko) 모션 계획에 기초한 자율 주행 차량의 운행 방법 및 시스템
US10668925B2 (en) Driver intention-based lane assistant system for autonomous driving vehicles
EP3309640B1 (en) Group driving style learning framework for autonomous vehicles
EP3378707B1 (en) Collision prediction and forward airbag deployment system for autonomous driving vehicles
US11113547B2 (en) Planning control in response to a driving obstruction during operation of an autonomous driving vehicle (ADV)
JP6222137B2 (ja) 車両制御装置
US10852736B2 (en) Method to track and to alert autonomous driving vehicles (ADVS) of emergency vehicles
WO2018232680A1 (en) EVALUATION FRAME FOR PREDICTED TRAJECTORIES IN A SELF-CONTAINING VEHICLE TRAFFIC PREDICTION
JP6930152B2 (ja) 自動運転システム
JP2017151041A (ja) 走行支援装置及びセンタ
CN113386752B (zh) 用于确定辅助驾驶系统中最佳巡航车道的方法和装置
CN112309157B (zh) 图像显示装置
JP7152339B2 (ja) 走行制御装置、走行制御方法、およびプログラム
JP2019079363A (ja) 車両制御装置
JP2017156954A (ja) 自動運転システム
JP7310424B2 (ja) 車両走行システム
CN112238866A (zh) 车辆控制装置以及车辆控制系统
JP7293949B2 (ja) 車両走行システム
JP2021018636A (ja) 車両遠隔指示システム
JP2021022033A (ja) 車両遠隔指示システム
CN113492848A (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7310424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151