JP6944308B2

JP6944308B2 - 制御装置、制御システム、および制御方法

Info

Publication number: JP6944308B2
Application number: JP2017157865A
Authority: JP
Inventors: 英史大場
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2017-08-18
Filing date: 2017-08-18
Publication date: 2021-10-06
Anticipated expiration: 2037-08-18
Also published as: US11853074B2; WO2019035458A1; JP2019034664A; US20200183411A1

Description

本開示は、制御装置、制御システム、および制御方法に関する。

近年、車両の自動走行制御に関する技術が多く開発されている。上記の技術には、より安全な自動走行制御を実現するための機構も含まれる。例えば、特許文献１には、複数の自動運転実行部を冗長的に並列動作する自動運転制御ユニットが開示されている。

特開２０１５−１６２００５号公報

特許文献１に記載の自動運転制御ユニットによれば、いずれかの自動運転実行部に不具合が生じた場合であっても、他の自動運転実行部による自動運転制御が可能となり、より確かな安全性をユーザに提供することが可能である。

しかし、特許文献１に記載の自動運転制御ユニットでは、複数の自動運転実行部を冗長的に並列に搭載することで、安全性を担保している。このため、特許文献１に記載の自動運転制御ユニットでは、装置の製造コストが予測される。また、特許文献１に記載の技術のように、周囲環境の認識に用いる複眼カメラなどを並列搭載しようとする場合、メイン以外の複眼カメラについても定期的な較正を行うことが求められ、保守工数が増大することが予測される。

そこで、本開示では、複眼カメラに不具合が生じた場合であっても、より安全な車両制御を実現することが可能な、新規かつ改良された制御装置、制御システム、および制御方法を提案する。

本開示によれば、車両の運転制御を行う制御部、を備え、前記制御部は、前記車両に係る自動運転制御の実行中に周囲環境の認識に用いられる複眼カメラの機能不全が検出された場合、前記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続し、前記複眼カメラは第１の車載カメラおよび第２の車載カメラを備えるステレオカメラであり、前記制御部は、前記第１の車載カメラまたは前記第２の車載カメラの一方に機能不全が検出された場合、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された前方車両の位置に基づいて、前記車両の自動走行を一時的に継続する、制御装置が提供される。

また、本開示によれば、車両の運転制御を行う制御装置と、前記車両の周囲を撮像し周囲環境の認識を行う複眼カメラと、を備え、前記制御装置は、前記車両に係る自動運転制御の実行中に前記複眼カメラの機能不全が検出された場合、前記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続し、前記複眼カメラは第１の車載カメラおよび第２の車載カメラを備えるステレオカメラであり、前記制御装置は、前記第１の車載カメラまたは前記第２の車載カメラの一方に機能不全が検出された場合、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された前方車両の位置に基づいて、前記車両の自動走行を一時的に継続する、制御システムが提供される。また、本開示によれば、車両の運転制御を行い、前記車両に係る自動運転制御の実行中に周囲環境の認識に用いられ、第１の車載カメラおよび第２の車載カメラを備えるステレオカメラである複眼カメラの機能不全が検出された場合、前記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続し、前記第１の車載カメラまたは前記第２の車載カメラの一方に機能不全が検出された場合、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された前方車両の位置に基づいて、前記車両の自動走行を一時的に継続する、処理をコンピュータが実行する、制御方法が提供される。

以上説明したように本開示によれば、複眼カメラに不具合が生じた場合であっても、より安全な車両制御を実現することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る制御システムの機能構成例を示すブロック図である。同実施形態に係る複眼カメラの機能構成例を示すブロック図である。同実施形態に係る制御装置の機能構成例を示すブロック図である。同実施形態に係る消失点の位置較正について説明するための図である。同実施形態に係る消失点に基づく周囲環境の推定について説明するための図である。同実施形態に係る車両の状態に基づく周囲環境の推定について説明するための図である。同実施形態に係る制御システムによる基本処理の流れを示すフローチャートである。同実施形態に係る制御システムによる自動運転制御の一時継続の流れを示すフローチャートである。同実施形態に係る車両の起動時における制御システムの動作の流れを示すフローチャートである。同実施形態に係る制御システムのハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．実施形態の概要
１．２．制御システムの機能構成例
１．３．複眼カメラ１０の機能構成例
１．４．制御装置２０の機能構成例
１．５．単一画像に基づく周囲環境の推定
１．６．制御システム１０００による処理の流れ
２．ハードウェア構成例
３．まとめ

＜１．実施形態＞
＜＜１．１．実施形態の概要＞＞
近年、自動運転の導入が盛んに議論され、近い将来的、運転者が運転に介在せずに車両の自動走行が可能になることが期待されている。このため、近年においては、人手を一切介さない完全な自動走行の実現を目的とした技術が多く研究、開発されている。

一方、走行中に起こり得る種々の状況をシステムが自動的に判断して適切な事故予防を行うことは、現状では未だ困難であるとも考えられている。このため、現状での自動運転技術は、ＬＤＭ（ＬｏｃａｌＤｙｎａｍｉｃＭａｐ）などの３次元詳細地図データが常に更新され備わった区間において導入可能であると想定される。

一方、上記のような３次元詳細地図データが完備されている区間であっても、環境認識ユニットに不具合が生じた場合には、周囲環境を正しく認識することが困難となり、自動運転が正常に制御できない状況に陥ることも想定される。例えば、周囲環境を認識するステレオカメラなどの複眼カメラに何らかの内部故障や外部損傷が生じた場合、複眼カメラは、ディスパリティーマップ演算などの３次元計測機能を正常に実行できなくなる。

このような場合、システムが複眼カメラに機能不全が生じた旨を運転者に通知し、運転者による通常運転モードに移行することが想定される。しかし、自動運転中においては、運転者が常に通常運転への切り替えに対応できる状態とは限らない。例えば、自動運転中における運転者は、食事や読書、他の搭乗者とのコミュニケーションなどの種々の２次タスクを行っていることも考えられる。

この場合、運転者は、２次タスクを中断し、生じた状況を把握し、さらに運転席にいない場合にあっては運転席へと移動し、着座姿勢を整え、ハンドルやアクセル、ブレーキなどを適切に制御することが求められる。しかし、上記の動作には短くない時間を要することから、車両を即座に安全に制御することが困難である場合も多く想定される。

このため、上記のような事態を回避するためには、運転者は自動運転中においても運転席に着座し、常に通常運転への切り替えに対応できるよう、注意を張り巡らせることを求められる。しかしながら、上記のような待機監視は、システム検証などの目的を除き、一般の運転者が利用の度に常時実施し続ける事は現実的には困難な作業であるとともに、自動運転中に２次タスクに関われるという自動運転の本来的なメリットを大きく阻害することとなる。

このため、近年においては、運転者が２次タスクを実行している際に環境認識ユニットに機能不全が生じた場合であっても、運転者が２次タスクを中断し通常運転への切り替えに対応できるまでの間、自動運転を安全に維持する機構が求められていた。さらには、自動運転に慣れ切った運転者が急遽通常運転への切り替えを求められた場合、従来における自動運転未利用者と比べて運転能力や走行中の周辺環境認知力等が低下している可能性も想定される。このため、緊急時に通常運転に切り替えた後でも、複眼カメラの残存機能を利用しつつ、可能な範囲で上記のような運転能力の低下をシステム側で補う必要がある。

本開示の一実施形態に係る制御装置および制御システムは、上記の点に着目して発想されたものであり、自動運転中に複眼カメラに不具合が生じた場合であっても、より安全な車両制御を実現することを可能とする。

このために、本開示の一実施形態に係る制御装置および制御システムは、複眼カメラの機能不全が検出された場合、複眼カメラの残存機能により推定された周囲環境に基づいて、車両の自動走行を一時的に継続する、ことを特徴の一つとする。

ここで、上記の残存機能とは、複眼カメラが備える複数のカメラのうち機能不全が生じていないカメラが撮像した画像により実現される機能を指す。例えば、複眼カメラが第１の車載カメラおよび第２の車載カメラを備える場合において、第１の車載カメラまたは第２の車載カメラの一方に機能不全が検出された場合、本実施形態に係る制御装置および制御システムは、機能不全が検出されていないもう一方の車載カメラが撮像した周囲環境に基づいて、車両の自動走行を一時的に継続することができる。

具体的には、本実施形態に係る制御装置および制御システムは、正常に動作する一方の車載カメラが撮像した画像から推定された道路領域、前方車両を含む周囲走行車両、障害物、道路標識に基づいて、一時的な自動走行維持を実現することができる。本実施形態に係る制御装置および制御システムが有する上記の機能によれば、複眼カメラが備える一方の車載カメラが機能不全に陥りディスパリティーマップが生成できなくなった場合であっても、残存機能、すなわち、正常に動作するもう一方の車載カメラが撮像した画像に基づく推定処理を行うことで、周囲環境に係る情報の完全な喪失を回避することが可能となる。

以下、本実施形態に係る制御装置および制御システムが有する上記の特徴について詳細に説明する。

＜＜１．２．制御システムの機能構成例＞＞
まず、本開示の一実施形態に係る制御システム１０００の構成例について説明する。図１は、本実施形態に係る制御システム１０００の機能構成例を示すブロック図である。図１を参照すると、本実施形態に係る制御システム１０００は、複眼カメラ１０、制御装置２０、および制御対象装置３０を含む。なお、以下の説明では、本実施形態に係る制御システム１０００が車両に搭載される場合を例に述べる。

（複眼カメラ１０）
本実施形態に係る複眼カメラ１０は、車両の周囲を撮像し、周囲環境の認識を行う機能を有する。より詳細には、本実施形態に係る複眼カメラ１０は、複数の車載カメラを備え、当該複数の車載カメラが撮像した画像からディスパリティーマップを生成することで、周囲環境を３次元的に認識することが可能である。

本実施形態に係る複眼カメラ１０は、例えば、２つの車載カメラを備えるステレオカメラであってもよい。一方、本実施形態に係る複眼カメラ１０は、上記の例に限定されず３つ以上の車載カメラを備えてもよい。また、本実施形態に係る複眼カメラ１０は、車載カメラに生じた機能不全を検出し、当該機能不全の要因を推定する機能を有する。

（制御装置２０）
本実施形態に係る制御装置２０は、複眼カメラ１０が認識した周囲環境に基づいて、車両の運転制御を行う機能を有する。本実施形態に係る制御装置２０は、例えば、複眼カメラ１０が認識した道路領域や周囲走行車両などに基づいて車両の自動走行を制御することができる。

また、本実施形態に係る制御装置２０は、複眼カメラ１０の機能不全が検出された場合、複眼カメラ１０の残存機能により推定された周囲環境に基づいて、車両の自動走行を一時的に継続することを特徴の一つとする。本実施形態に係る制御装置２０は、例えば、複眼カメラ１０が備える複数の車載カメラのうちいずれかに機能不全が検出された場合、残存機能、すなわち、正常に動作する他の車載カメラが撮像した画像を用いた推定機能に基づいて、車両の自動走行を一時的に継続することができる。

（制御対象装置３０）
本実施形態に係る制御対象装置３０は、制御装置２０による制御に基づいて、種々の動作を実行する装置である。本実施形態に係る制御対象装置３０は、例えば、アクセル、ブレーキ、ステアリングなどの運転制御に係る動作を行う装置であってよい。

本実施形態に係る制御対象装置３０は、また、本実施形態に係る制御対象装置３０は、制御装置２０による制御に基づいて情報の出力を行う装置であってもよい。本実施形態に係る制御対象装置３０は、例えば、視覚情報を表示する各種のディスプレイ装置や、音情報を出力するスピーカなどであり得る。また、本実施形態に係る制御対象装置３０は、制御装置２０による制御に基づいて光を発するランプなどの光源であってもよい。

以上、本実施形態に係る制御システム１０００の機能構成例について説明した。なお、図１を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る制御システム１０００の機能構成は係る例に限定されない。本実施形態に係る制御システム１０００は、図１に示す以外の構成をさらに含んでもよい。本実施形態に係る制御システム１０００は、例えば、周囲環境に係るセンサ情報を収集する各種のセンサ装置や、複眼カメラ以外の環境認識ユニットをさらに含んでもよい。上記の環境認識ユニットには、例えば、ソナーやミリ波レーダ、Ｌｉｄａｒなどが含まれる。本実施形態に係る制御システム１０００の機能構成は、仕様や運用に応じて柔軟に変形されてよい。

＜＜１．３．複眼カメラ１０の機能構成例＞＞
次に、本開示の一実施形態に係る複眼カメラ１０の機能構成例について説明する。図２は、本実施形態に係る複眼カメラ１０の機能構成例を示すブロック図である。図２を参照すると、本実施形態に係る複眼カメラ１０は、撮像部１１０、マップ生成部１２０、環境認識部１３０、診断部１４０、および通信部１５０を備える。

（撮像部１１０）
撮像部１１０は、複数の車載カメラ１１５を備え、周囲環境を撮像する機能を有する。図２に示す一例の場合、撮像部１１０は、２つの車載カメラ１１５ａおよび１１５ｂを備える。ここで、車載カメラ１１５ａは、本開示における第１の車載カメラに相当し、車載カメラ１１５ａは第２の車載カメラに相当する。

また、撮像部１１０は、定期または不定期に車載カメラ１１５ａおよび１１５ｂの位置関係に係るキャリブレーションを実行し、当該キャリブレーションに係る較正値を更新する。

（マップ生成部１２０）
マップ生成部１２０は、撮像部１１０が撮像した画像に基づいてディスパリティーマップ（奥行画像、深度画像、とも称する）を生成する機能を有する。すなわち、マップ生成部１２０は、車載カメラ１１５ａおよび１１５ｂが撮像した２つの画像に係る視差に基づいて、３次元情報を有する周囲環境のマップを生成する。

（環境認識部１３０）
環境認識部１３０は、マップ生成部１２０が生成したディスパリティーマップに基づいて、周囲環境に係る種々の認識処理を実行する機能を有する。環境認識部１３０は、例えば、道路領域や周囲の走行車両、歩行者、障害物、道路標識などを認識することができる。

環境認識部１３０は、例えば、道路上における白線などの区画線を検出し、当該区画線に基づいて道路領域を認識してもよい。なお、本実施形態に係る区画線は、路面に描かれたペイントの他、鋲や石などの物体から形成される物も含む。また、本実施形態に係る区画線には、車道中央線、車線境界線、車道外側線、横断歩道指導線などが含まれる。

また、環境認識部１３０は、例えば、前方車両を含む周囲走行車両を認識する。本実施形態に係る環境認識部１３０は、例えば、前方車両の位置や距離などを認識することが可能である。

また、本実施形態に係る環境認識部１３０は、車載カメラ１１５ａまたは１１５ｂのいずれかに機能不全が生じた場合やカメラ間の同期が取れない場合であっても、正常に動作する一方の車載カメラ１１５が撮像した画像に基づいて周囲環境の推定を行うことを特徴の一つとする。本実施形態に係る環境認識部１３０が有する上記の機能については別途詳細に説明する。

（診断部１４０）
診断部１４０は、撮像部１１０に生じた機能不全を検出する機能を有する。診断部１４０は、例えば、車載カメラ１１５ａまたは１１５ｂからの信号が検出できない場合や、車載カメラ１１５ａまたは１１５ｂが撮像した画像の一部または全体に黒領域などの異常が生じている場合に、対応する車載カメラ１１５ａまたは１１５ｂに機能不全が生じていることを検出することができる。また、診断部１４０は、例えば、マップ生成部１２０が車載カメラ１１５ａおよび１１５ｂが撮像した画像から正常なディスパリティーマップを生成できない場合などに、車載カメラ１１５ａまたは１１５ｂに機能不全が生じていることを検出してもよい。

また、診断部１４０は、撮像部１１０に生じた機能不全の要因を推定する機能を有する。診断部１４０は、例えば、車載カメラ１１５ａが撮像した画像に黒領域が生じているものの、車載カメラ１１５ａから得られる信号に異常がない場合には、当該機能不全がゴミの付着などによる光学パスの遮断によるものであると推定することも可能である。

（通信部１５０）
通信部１５０は、制御装置２０との情報通信を行う機能を有する。より具体的には、通信部１５０は、環境認識部１３０が認識した種々の認識情報、および診断部１４０が検出した機能不全や推定要因に係る情報を制御装置２０に送信する。また、通信部１５０は、車載カメラ１１５ａおよび１１５ｂが撮像した画像や、マップ生成部１２０が生成したディスパリティーマップに係る情報を制御装置２０に送信してもよい。

以上、本実施形態に係る複眼カメラ１０の機能構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る複眼カメラ１０の機能構成は係る例に限定されない。例えば、マップ生成部１２０、環境認識部１３０、および診断部１４０は、制御装置２０の機能として実現されてもよい。本実施形態に係る複眼カメラ１０の機能構成は仕様や運用に応じて柔軟に変形されてよい。

＜＜１．４．制御装置２０の機能構成例＞＞
次に、本開示の一実施形態に係る制御装置２０の機能構成例について説明する。図３は、本実施形態に係る制御装置２０の機能構成例を示すブロック図である。図３を参照すると、本実施形態に係る制御装置２０は、制御部２１０、運転者認識部２２０、学習器２３０、および通信部２４０を備える。

（制御部２１０）
制御部２１０は、複眼カメラ１０が認識した外部環境に基づいて車両の運転制御を行う機能を有する。この際、本実施形態に係る制御部２１０は、診断部１４０が撮像部１１０の機能不全を検出した場合、環境認識部１３０が撮像部１１０の残存機能により推定した周囲環境に基づいて、車両の自動走行を一時的に継続することを特徴の一つとする。

より詳細には、制御部２１０は、診断部１４０が車載カメラ１１５ａまたは１１５ｂの一方に機能不全を検出した場合、環境認識部１３０が機能不全が検出されていないもう一方の車載カメラ１１５が撮像した画像から推定した周囲環境に基づいて、車両の自動走行を一時的に継続することができる。

この際、本実施形態に係る制御部２１０は、例えば、環境認識部１３０が単一の車載カメラ１１５が撮像した画像や取得が可能なＬＤＭの更新地図情報などから推定した道路領域や区間道路状況に基づいて、車両の自動走行を一時的に継続してもよい。制御部２１０は、例えば、環境認識部１３０が画像に含まれる区画線から推定した道路領域に基づいて、当該区画線を逸脱しないよう、車両を一時的に自動走行させることができる。

また、本実施形態に係る制御部２１０は、例えば、環境認識部１３０が単一の車載カメラ１１５が撮像した画像から推定した前方車両の位置に基づいて、車両の自動走行を一時的に継続してもよい。制御部２１０は、例えば、環境認識部１３０が推定した前方車両との距離に基づいて、当該前方車両を追尾するよう、車両の自動走行を一時的に継続させることができる。

また、本実施形態に係る制御部２１０は、運転者認識部２２０が運転者による運転復帰を検出するまで、車両の自動走行を一時的に継続してよい。本実施形態に係る制御部２１０が有する上記の機能によれば、複眼カメラ１０に不具合が生じてから運転者が２次タスクから運転復帰するまでの間、一時的に複眼カメラ１０の残存機能を用いて自動走行を継続することで、運転者に対し、より安全に運転の主導権を引き継ぐことが可能となる。

また、本実施形態に係る制御部２１０が有する上記の機能によれば、車両を緊急停車させることなく、運転者に運転の主導権を引き継ぐことができるため、突然の停止による２次災害を招くことや、交通量の多い道路において周囲車両の走行を妨害することなどを防止することが可能となる。なお、複眼カメラ１０の機能の不具合をシステムが検出した時点で直ぐに車両を緊急停車させる場合、走行区間がトンネルの中であったり、見通しの悪いカーブの終わりなどの地点である状況では、後続車が上記車両の緊急停車に気が付くのが遅れ追突される可能性もある。さらには、幹線道におけるボトルネックとなる単線区間に差し掛かる手前など様々な状況で事象は発生し得る。そこで、後続車への影響を、区間停車をした場合の該当区間通過の渋滞誘発影響などから、誘発事故のリスクや渋滞影響を低減できる地点をＬＤＭ等から探索し周囲影響の少ない地点まで誘導移動した上で車両を緊急停止するのが望ましい。

一方、本実施形態に係る制御部２１０は、許容復帰時間内に運転者による運転復帰が困難である場合、車両の安全停止制御を実行してよい。本実施形態に係る制御部２１０は、例えば、運転者認識部２２０が推定した運転者の推定復帰時間が許容時間を超える場合、車両の安全停止制御を実行する。この際、制御部２１０は、運転者や周囲の走行車両に対し、安全停止に係る情報を通知させたのち、減速制御を行い、待避所などのより安全と推定される場所に車両を停止させることができる。

本実施形態に係る制御部２１０が有する上記の機能によれば、車両を突然に停止させることなく、周囲の走行車両に警告を発したうえで、車両の減速や停止を行うことができ、より安全性を確保することが可能となる。つまり緊急停車適合地点まで車両走行させることで、インフラに対する不具合車両の影響を最少化することが可能となる。ここで、緊急停車適合地点とは、車両を停車させることで走行ルートに対して視界妨害、巡航速度乱れ、通行他車両へのリスクや渋滞誘発要因等を引き起こさないか、あるいは影響の最少化がはかれる地図上の地点や区間である。

以上、本実施形態に係る制御部２１０による制御の一例について説明した。なお、制御部２１０は、車両の走行や情報通知に係る種々の制御対象装置３０を制御することで、上記の処理を実現することが可能である。

（運転者認識部２２０）
運転者認識部２２０は、運転者の状態や行動を認識する機能を有する。運転者認識部２２０は、例えば、車内に設置されたカメラが撮像した画像などに基づいて、運転者の表情や、２次タスクなどの行動を認識することができる。また、運転者認識部２２０は、例えば、画像や光源を用いた既知の認識技術により、運転者の視線や頭部の動きなどを認識することが可能である。

また、運転者認識部２２０は、認識した運転者の状態に基づいて、当該運転者が運転に復帰するまでの運転復帰時間を推定する。この際、上記の運転復帰時間には、運転者の運転に関する経験や特性が強く影響することが予想される。このため、本実施形態に係る運転者認識部２２０は、学習器２３０により学習された運転者の特性に基づいて、運転復帰時間を推定してよい。本実施形態に係る運転者認識部２２０が有する上記の機能によれば、個人差を加味することで、より正確な運転復帰時間を推定することができ、より安全な運転制御を実現することが可能となる。

（学習器２３０）
学習器２３０は、運転者の運転に係る特性を学習する機能を有する。学習器２３０は、運転者の通常運転への復帰に係る復帰特性について、運転者の眼球挙動解析や瞳孔挙動解析、復帰シーケンス解析、生体信号解析指標に基づく当該運転者固有の実復帰操舵履歴の成否、などから復帰特性を学習をさせる事が出来る。つまり、運転者の可観測な覚醒状態から運転者固有の復帰時間を推定するために必要な復帰特性学習を行う。学習器２３０は、例えば、ニューラルネットワークなどの技術を用いて上記の学習を実現する。

（通信部２４０）
通信部２４０は、複眼カメラ１０や制御対象装置３０との情報通信を行う機能を有する。具体的には、通信部２４０は、複眼カメラ１０から認識情報や機能不全に係る情報を受信する。また、通信部２４０は、制御部２１０が生成した制御信号を制御対象装置３０に送信する。また、通信部２４０は、制御対象装置３０から制御に必要な種々の情報を受信する。また、通信部２４０は、種々の外部装置が収集した情報を受信することが可能である。例えば、通信部２４０は、外部装置が収集したセンサ情報や、外部装置が送信する通知などを受信してよい。

以上、本実施形態に係る制御装置２０の機能構成例について説明した。なお、図３を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る制御装置２０の機能構成は係る例に限定されない。例えば、運転者認識部２２０や学習器２３０は、制御装置２０とは異なる装置の機能として実現されてもよい。一方、上述したように、制御装置２０は、マップ生成部１２０、環境認識部１３０、診断部１４０と同等の機能を備えてもよい。本実施形態に係る制御装置２０の機能構成は、仕様や運用に応じて柔軟に変形されてよい。

＜＜１．５．単一画像に基づく周囲環境の推定＞＞
次に、環境認識部１３０による単一画像に基づく周囲環境の推定について詳細に説明する。上述したように、本実施形態に係る環境認識部１３０は、正常に動作する一方の車載カメラ１１５が撮像した単一画像に基づいて、周囲環境を推定することができる。

この際、本実施形態に係る環境認識部１３０は、マップ生成部１２０が車載カメラ１１５ａおよび１１５ｂの両方が撮像した画像を用いてディスパリティーマップを生成する際の各車載カメラ１１５の較正値に基づいて、周囲環境の推定を行うことができる。

通常、マップ生成部１２０が正確なディスパリティーマップを生成するためには、車載カメラ１１５ａと１１５ｂとの位置関係が正しく較正されている必要がある。しかし、上記の位置関係は、外部からの衝撃や、湿度や温度の変化、機械的ストレスなどの要因により変化することも想定される。このため、正確なディスパリティーマップを生成するためには、車載カメラ１１５ａと１１５ｂとの位置関係に関し、定期または不定期にキャリブレーションを実行し、較正値を都度更新することが求められる。

このため、本実施形態に係る環境認識部１３０は、撮像部１１０による最終キャリブレーションにより更新された較正値を参照することで、正常に動作する車載カメラ１１５の特性を逆算し、撮像された単一画像に基づいて、より正確な周囲環境の推定を行うことが可能である。

例えば、車載カメラ１１５ａおよび１１５ｂに係るキャリブレーションには、区画線ＤｌおよびＤｒ、消失点ＶＰを利用する手法が知られている。理想的に平行する２つの区画線ＤｌおよびＤｒが存在し、また、区画線ＤｌおよびＤｒが水平に延長する場合、区画線ＤｌおよびＤｒの交点、すなわち消失点ＶＰは、水平線上に位置することが推定される。上記の消失点ＶＰとは、車両の走行が平行移動である場合、当該走行に伴う外界景色の遷移が流れ移動する起点となる点であり、取り込み画面のすべての点に対して正確なオプティカルフローが得られるのであれば、そのオプティカルフローベクトルの矢印の方角はすべてその起点を基準に描ける。ただし、通常オプティカルフローの演算量は多く、且つ画面に多くの環境静止特徴点を必要とする。このため、より簡易に利用できる自車の進行と平行する路上平行体の幾何的交点が、平行走行時の消失点ＶＰと一致する事から、路上における区画線を用いた較正を行う事が有効である。ただし、上記の手法では、後述する通り、走行進行方向の平行成分同士の無限交点に限定されるために、その判別を行う必要がある。

この際、車載カメラ１１５ａおよび１１５ｂが撮像した２つの画像から正しい消失点ＶＰを得るためには、車載カメラ１１５ａおよび１１５ｂがそれぞれ撮像した画像から求めた消失点ＶＰの視差のずれを吸収、すなわち較正する必要がある。このため、本実施形態に係る環境認識部１３０は、最終キャリブレーション時において上記の較正が行われた際の較正値を用いることで、単一画像Ｐｉｃから求めた消失点ＶＰの位置を較正し、より精度の高い区画線ＤｌおよびＤｒの位置を検出することが可能となる。

図４は、本実施形態に係る消失点ＶＰの位置較正について説明するための図である。説明を分かりやすくするために、水平左右方角のみに着目し、車載カメラ１１５の方角ずれが生じた場合について説明する。図４の左側には、制御システム１０００を搭載する車両ＳＣと、車両ＳＣが走行する道路に設けられる平行する２つの区画線ＤｌおよびＤｒとが示されている。なお、区画線ＤｌおよびＤｒが実際に平行線であるかどうかは、一枚の取得画像のみからは断定ができないため、複眼カメラ１０が正常に機能している期間であれば、想定平面と該当平面が水平無限縁に伸びている事で判定が可能である。一方、一方の車載カメラ１１５しか利用が出来なくなった状況においては、フレーム間相関で線分をなす境界延長線が線分に直角方角へ移動をしない事を判定基準にする事で、路面上に描画される区画線が先細りや先広がり非平行区画線であるか否かの判別を行う。つまり、時系列の画像で車両の進行方向と平行である線分は常に同じ線分上に表示され続けるが、進行方向に対して角度をなしている場合は、平行線分に対して並進横移動をする。本判別を実施しない場合、例えば区画線Ｄｒのみが先に行くに従い区画線Ｄｌに対して狭まっている路面であると、単一取り込みフレームでは両区画線の交点が実質的な走行に伴う消失点ＶＰからずれて左下に下がり、カメラの取り付け自体は車両の進行方向に対してずれが生じていなくとも、この交点がずれる結果となる。このため、上述の判定を無くして単純に１フレーム画像の検出線分から交点を算出して較正に適用した場合には、エラーを含むこととなり、進行方角を決める消失点ＶＰとして正しくない。ただし、車体の進行方向が一定でも車両が路面左右に横シフトしたり、車載カメラと路面との相対高さ等、平行線分から車載カメラの相対距離関係が変わると無限点ＶＰを回転の中心軸として表示線分は回転移動し、その場合は消失点ＶＰを表す線分の交点は変化しない。

この際、車両ＳＣが搭載する車載カメラ１１５のうち正常に機能している車載カメラ１１５ｂは、車両ＳＣの進行方向ＤＭに対し、角度Δθだけ水平方向にずれて配置されているとする。

説明を単純化するために車載カメラ１１５の撮像の射影方式が中心射影方式であり、その光軸が無限に向いていると仮定すると、図中の右側に示される車載カメラ１１５ｂが撮像した単一画像Ｐｉｃでは、本来の消失点ＶＰとはｆ＊ｔａｎ（θ）だけ離れた場所に偽の消失点ＦＶＰが算出される。この際、本実施形態に係る環境認識部１３０は、最終キャリブレーション時における較正値、すなわちｆ＊ｔａｎ（Δθ）の値を用いることで、正しい消失点ＶＰの位置を算出するこが可能となる。なお、上記のｆは、車載カメラ１１５ｂが中心射影方式の画像投映方式を採用した例であり、焦点距離ｆを示す。また、進行方向における上下方向、いわゆるピッチ方角のずれ量も上記と同様の手法により補正することができる。後述の図６で述べるとおり、車載カメラ１１５の取り付けのずれ以外にも、車両の積載バランスや前後懸架装置のバランスや制動に伴う車両のピッチ変化によっても消失点ＶＰの移動が生じ得る。進行方向無限平面上に来るべき消失点ＶＰの上下位置は、取り分け前方物に対する距離推定の基準となるため、複眼カメラ１０の一方の車載カメラ１１５が故障した際に、残存する一方の車載カメラ１１５で距離推定を行う上で重要な基準位置情報となる。このため、故障前の較正作業により得られる保存値としての消失点ＶＰ参照と、さらには定期または非定期較正を行い進行ずれにともなう誤差発生を防ぎながら利用するのが望ましい。想定を簡単にするために、中心射影の投影方式のカメラを想定して補正量をｆ＊ｔａｎ（Δθ）としているが、他の投影方式を用いて撮像される場合であれば、その像高対方角特性に合わせて補正を行う。

また、図５は、本実施形態に係る消失点に基づく周囲環境の推定について説明するための図である。図５には、正常に動作する一方の車載カメラ１１５が撮像した単一画像Ｐｉｃが示されている。ここで、単一画像Ｐｉｃには、区画線ＤｌおよびＤｒ、消失点ＶＰ、前方車両ＡＣ１が示されている。ここで、図５における消失点ＶＰは、図４を用いて説明した手法により較正された消失点であってよい。

この際、本実施形態に係る環境認識部１３０は、例えば、較正された消失点ＶＰに基づいて検出した区画線ＤｌおよびＤｒの間の領域を道路領域Ｒとして推定することが可能である。本実施形態に係る環境認識部１３０が有する上記の機能によれば、一方の車載カメラ１１５に機能不全が生じた場合であっても、単一の車載カメラ１１５により撮像された単一画像Ｐｉｃのみを用いて精度の高いＬＫＡＳ（ｌａｎｅｋｅｅｐａｓｓｉｓｔｓｙｓｔｅｍ）機能を実現することが可能となる。とりわけ望ましくは、自車が占有する車両幅の前方領域推定によりＬＫＡＳ機能が実現される。この場合、区画線ＤｌおよびＤｒの間の領域により区画された左右境界より画面上部に路面以外の検出体の存在確率が低く、かつ路面と推定される確率が高い領域が存在する検出状況では、該当区間は自車の走行進入が可能である確率が高いことを示す。単一の車載カメラ１１５での路面領域推定には、テキスチャー分析を行うセグメンテーションや、路面模様のフレーム間時系列推移による移動ステレオ法などが用いられてもよい。

また、本実施形態に係る環境認識部１３０は、消失点ＶＰに基づいて前方車両ＡＣ１との距離Ｌを推定してもよい。撮像する車載カメラ１１５から、車載カメラ１１５を含まない無限遠にのびる平面、すなわち路面平面における物体までの距離は、中心射影の投影画像を利用して取り込んだ画像の場合、消失点ＶＰ（を含む水平線）から上下の画面方向の（路面接地点までの）投影距離に逆比例して定まることが知られている。ただし、上記の距離は絶対距離を直接得る事は出来ず、車載カメラ１１５に係る上記平面からの距離に応じて、つまりは路面との車体への車載カメラ１１５の取り付け高さ位置に応じて投影画像上の消失点（＝無限点）ＶＰからの離間距離は変動するために、基準距離が必要となる。具体的には車載カメラ１１５と路面の高さが変動の要因となる。このため、個別の車載カメラ１１５単体の距離推定に必要な較正作業を製品出荷の際に行ってもよいが、上述のとおり車体への積載量やバランス等による消失点ＶＰの変化も合わせて考慮し、都度較正を行い利用するのが望ましい。複眼カメラ１０の機能が通常どおり有効に機能している間であれば、前方車両ＡＣ１や路上物の距離推定はディスパリティーマップにより距離算出が可能であり、またはレーダやＬＩＤＡＲで検出した距離を用いてもよい。例えば、前方車両ＡＣ１や推定路面直立物を検出した際に、取り込み画像上における路面接地点から消失点ＶＰまでの離間距離ｈを算出する。この際、カメラが中心射影の投影方式であれば、Ｌ＝Ａ＊（１／ｈ）の関係が成り立つ。ここで、距離Ｌ_０における画像上での路面接地点から消失点ＶＰまでの離間距離をｈ_０とすると、係数Ａは利用する車載カメラ１１５の焦点距離で決まる係数であり、複眼カメラ１０により推定される距離から係数Ａを求めることが可能である。その後、仮に一方の車載カメラ１１５が機能不全に陥ったとしても、車体への取り付け高さが変動しない限り、前記較正により得られた係数Ａの値は不変なことから、この作業が単眼で距離推定する上で必要なキャリブレーションとなる。このため、係数Ａの安定値を算出するために、正常動作時に繰り返し実施し、統計的に安定な平均値を用いてもよい。つまり、走行時に自車前方に現れる車両や歩行者、バイクなどの主要な障害物は路上準直立物体と見なせることから、単一の車載カメラ１１５であっても、立体物の路面接地点を把握検出が出来れば、車載カメラ１１５から当該路面接地点までの距離推定が可能である。このため、環境認識部１３０は、消失点ＶＰを基準とし、前方の路面模様ではない異物検出領域（推定立体物）の路面接地点を判定した後、当該路面接地点まで画面の離間距離ｈの推定し、消失点ＶＰとの離間距離の逆数（1／ｈ）から車載カメラ１１５から物体の立ち位置点距離Ｌ＝Ｌ_０＊（ｈ_０／ｈ）を算出することができる。つまり、単一画像Ｐｉｃに映し出された前方車両ＡＣ１との取り込み画像から距離Ｌを逆算することが可能である。なお、必要に応じてその時間微分値から相対速度の推定をさらに行っても良い。

また、本実施形態に係る環境認識部１３０は、前方車両ＡＣ１の一部領域のサイズに基づいて距離Ｌを推定してもよい。環境認識部１３０は、例えば、前方車両ＡＣ１が備えるナンバープレートＮＰを認識し、認識したナンバープレートＮＰのサイズを基準距離と対応付いた基準サイズと比較することで、距離Ｌを推定することができる。また、環境認識部１３０は、前方車両ＡＣが備えるランプＬｌおよびＬｒに係る間隔を認識し、基準距離と対応付いた基準間隔と比較することで、距離Ｌを推定することも可能である。距離Ｌを路面接地点から推定する場合は、消失点ＶＰとの画面上の投影距離により算出したが、任意の物体の大きさに関しては、無限で大きさが見えなくなり、２次元で投影される片軸の寸法に逆比例して距離が定まる。このため、後述するとおり、一旦前方にある物体までの距離が分かると、その後の寸法変化から距離変動を算出できるようになる。つまり、距離Ｌ_０において寸法がｗ_０として検出された検出物体（例えば、ナンバープレートＮＰの幅ｗなど）に関し、寸法がｗに変化した際の距離Ｌは、Ｌ＝Ｌ_０＊（ｗ_０／ｗ）となる。一方、寸法ではなく、面積Ｓにより算出する場合は、その平方根の逆数を利用する必要がある。すなわち、距離Ｌは、Ｌ＝Ｌ_０＊(Ｓ_０/Ｓ)^(1/2）、が成り立つ。ただし、この手法では一度前方に捕捉して、複眼カメラ正常動作時のディスパリティーマップからの距離やミリ波レーダやＬＩＤＡＲと言った絶対測距機能で捉えた値により一旦校正が出来て初めてトラッキングおよび距離推定が可能となる。なお、車幅灯や車両幅などの個体別の変動要因がないナンバープレート幅等は社会全体で規格化され、寸法の基準も存在する事から、一旦検出寸法から距離を算出するシステムの較正をする事で、その都度トラッキングをしなくても距離推定に利用が可能である。

本実施形態に係る環境認識部１３０が有する上記の機能によれば、一方の車載カメラ１１５に機能不全が生じた場合であっても、単一画像Ｐｉｃのみを用いて精度の高いＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）機能を実現することが可能となる。上述したように、前走車両との距離推定には、路面接地点からの算出や、検出寸法からの距離変動算出、検出面積からの距離変動算出など異なる手段を用いることができる。一方、前者の路面接地点からの算出では自車のいる平面に対して路面が上下した傾斜がある場合において傾斜量に応じた補正が正確になされない場合は誤差が顕在化することとなる。さらには、路面接地点と実際の路上での接近物に関し、特に大型貨物車などでは前後位置が異なり、路面接地点に対して数メートル単位で進行方向後方に突き出ていたりする場合もある。また、上述した前方車両ＡＣ１に係る検出物体の寸法変化により接近距離の変動を推定することは可能であるが、絶対的距離を直接取得することはできない。つまり、仮に複眼カメラ１０の距離推定機能が瞬間的に不全に陥った場合に、残存する一方の車載カメラ１１５により正確かつ容易に距離推定をこなすためには幾つかの前段工夫を行っておくことが望ましい。つまり、単一の車載カメラ１１５による路面接地点から距離推定を行うための上記の係数の算出、車両積載荷重に起因して変動する係数変動範囲の算出、さらにはピッチ変動による消失点ＶＰの変動の算出を走行中恒常的に行い、そして前方車両ＡＣ１を検出した際に、当該車両の車幅灯などの特徴的寸法の逆数より距離推定するために係数算出も走行中恒常的に行う事が望ましい。規格されたナンバープレートや車両車種ごとである程度限定されるトレッド（車両の左右車輪間隔）から推定算出を行うことも可能である。

また、本実施形態に係る環境認識部１３０は、車両の状態に基づいた周囲環境の推定を行うことも可能である。上述したように、算出される消失点ＶＰの移動は、車載カメラ１１５の取り付けのずれ以外にも、車両の積載バランスや前後懸架装置のバランスや制動に伴う車両のピッチ変化などの車両の状態に起因して生じ得る。このため、本実施形態に係る環境認識部１３０は、進行方向における上下方向、いわゆるピッチ方角のずれ量も上記の横方向の較正と同様の手法により、補正することができる。図６は、本実施形態に係る車両の状態に基づく周囲環境の推定について説明するための図である。

図６の上部には、正常な状態における車両ＳＣ、当該状態において正常に動作する車載カメラ１１５が前方における道路領域Ｒを撮像する際の画角ＡＶ１、および車載カメラ１１５が画角ＡＶ１を以って撮像した単一画像Ｐｉｃ１が示されている。

一方、図６の下部には、荷物や搭乗者などの影響により積載バランスが変化し前のめりの状態となったことによりピッチ変化が生じている車両ＳＣ、当該状態において正常に動作する車載カメラ１１５が前方における道路領域Ｒを撮像する際の画角ＡＶ２、および車載カメラ１１５が画角ＡＶ２を以って撮像した単一画像Ｐｉｃ２が示されている。

ここで単一画像Ｐｉｃ１とＰｉｃ２とを比較すると、単一画像Ｐｉｃ１における区画線ＤｌおよびＤｒの間隔は、車両ＳＣがピッチ変化が生じている状態で撮像された単一画像Ｐｉｃ２における区画線ＤｌおよびＤｒの間隔よりも狭いことがわかる。

このように、車載バランス前後懸架装置のバランスや制動に伴う車両のピッチ変化が生じている状態の場合、車載カメラ１１５の画角ＡＶ２は、車両ＳＣ方向に近づくため、撮像される単一画像Ｐｉｃ２における区画線ＤｌおよびＤｒの間隔は、通常の状態よりも手前方向に広がることが推定される。

このため、本実施形態に係る環境認識部１３０は、図６下部に示すようなピッチ変化が生じた車両ＳＣの状態を認識し、認識したピッチ変化の度合いに基づいて区画線ＤｌおよびＤｒの検出位置を較正することで、より正確な道路領域Ｒを推定することが可能となる。このために、環境認識部１３０は、ピッチ変動による消失点ＶＰの変動の算出を走行中恒常的に実施してよい。とりわけ加速や制動を掛けた場合には車体のピッチ変動が発生するが、加速の間に検出される区画線交点は真の進行に伴う消失点から加速によるピンチ角の変動の量だけずれるため、上下変動を補正せずに前方物体の路面接地点と上記一時的な区画線交点の離間距離を用いると不正確な距離推計となる。なお、ピッチセンサによる変動ピッチ角Δφ（図示はしていない）が分かれば、横方向のずれと同様に水平線で定まる消失点ＶＰを上下方向にｆ＊ｔａｎ（Δφ）だけ補正をしてもよい。

なお、図６においては、環境認識部１３０が車両ＳＣの前後方向の傾きに基づいて区画線ＤｌおよびＤｒの検出位置に係る較正を行う場合を例に説明したが、環境認識部１３０は、車両ＳＣに係る種々の状態を認識し、検出位置の較正を行うことができる。例えば、環境認識部１３０は、車両ＳＣの左右方向の傾きに基づいて検出位置の較正を行ってもよい。

＜＜１．６．制御システム１０００による処理の流れ＞＞
次に、本実施形態に係る制御システム１０００による処理の流れについて詳細に説明する。まず、本実施形態に係る制御システム１０００による基本処理の流れについて説明する。図７は、本実施形態に係る制御システム１０００による基本処理の流れを示すフローチャートである。

図７を参照すると、まず、複眼カメラ１０の診断部１４０が撮像部１１０の機能不全をモニタリングする（Ｓ１１０１）。

ここで、撮像部１１０の機能不全を検出しない場合（Ｓ１１０２：Ｎｏ）、診断部１４０は、ステップＳ１１０１に復帰し、継続して上記のモニタリングを実行する。

一方、撮像部１１０の機能不全を検出した場合（Ｓ１１０２：Ｙｅｓ）、診断部１４０は、続いて、残存カメラ、すなわち正常に動作している車載カメラ１１５の有無と、当該状況において利用できる残存機能を判定する（Ｓ１１０３）。

ここで、診断部１４０が、正常に動作している車載カメラ１１５が撮像した画像に基づいて利用可能な残存機能があると判定した場合（Ｓ１１０４：Ｙｅｓ）、制御装置２０の制御部２１０は、当該残存機能を用いた自動運転制御を一時的に継続する（Ｓ１１０５）。

一方、診断部１４０が、正常に動作している車載カメラ１１５が撮像した画像に基づいて利用可能な残存機能が全くないと判定した場合（Ｓ１１０４：Ｎｏ）、制御部２１０は、当該状況に係る通知を運転者や周囲の走行車両に通知した後、車両を減速させ、安全な場所に停車させる（Ｓ１１０６）。なお、常時更新された最新ＬＤＭ情報等により、そのまま暫く直進走行が見込まれる走行区間中の故障であれば、安全な場所への移動が可能であるが、例えば、うねりくねったワインディングロード等で機能不全が生じた場合には一刻も早く停車を行うことが望ましい。このため、詳細の制御シーケンスに関しては、ＬＤＭの地図情報や最新の道路事情等に即したユースケース別に、より事細かな状況判断に応じて制御を行ってもよい。

また、ステップＳ１１０５における自動運転制御の一時継続や、ステップＳ１１０６における安全停止制御の処理が完了した後、制御部２１０は、診断部１４０が診断した撮像部１１０の機能不全に係る情報と当該機能不全に対する制御内容とを対応づけて不具合ログとして保存する（Ｓ１１０７）。ここで、機能不全とその後の対処制御の一連のログ情報にはさらにタイムスタンプなどを設け、時系列情報として記録し、対処状況と利用形態と事象発生の相関がわかるようにしてもよい。

また、制御部２１０は、複眼カメラ１０の修理要求に係る通知を運転者に対し通知させる（Ｓ１１０８）。なお、ここで、上記の修理要求に係る通知に関し、単純な音やアラームなどを用いた通知やハプティックス通知をパッシブに行うのみでは利用者がその修理の緊急性や必要性を把握していない限り、不具合が生じているまま継続利用をする恐れがある。特に自動運転に慣れた利用者が無意識下でシステムの安全補助を受けていた走行状態から、その補助機能を外された状態となるため、修理要求に係る通知の望ましい形態は、通知が運転動作を阻害することなく修理が行われるまで継続的に繰り返し実行され、早期修理を促す事である。実際の車を利用した移動の緊急度と修理の緊急度とは修理者のニーズに依存するため、例えば、僻地から修理が可能な都市部に出るまでの間の利用であったり、修理部品が無かったり休日で直ぐの修理が困難であったり、急病患者を病院へ急行させたりする場合など、その対応は状況に大きく依存する。このため、修理要求に係る通知の間隔を段階的に短くしたり、上記通知による催促に対して承諾入力を記録したり、承諾をしたにも関わらず繰り返し未修理のまま継続的に利用される状況に対して記録を追加したり、外部へ無線通知したり、そしてその違反量に応じて罰則的走行上限スピードを課すことなども実装実施例として挙げることができる。いずれにしても、自動運転における複眼カメラ１０の故障は、手動による通常運転での走行自体を阻害する要因とならないため、利用者が修理を怠ったり、修理を後回しにするリスクを防止することが求められる。このため、自動運転システムの一部に機能不全が発生した場合であっても走行が可能なシステムにおいては、意識的に利用者に早期修理を促す仕組みが安全を確保する上で社会的に有用な手段である。上記の修理通知形態や方法は、複眼カメラの一部機能故障時の実施例の一つの側面を示した例であり、さらに他の機器の機能障害に対する修理促進にも拡張して適用が可能であり、複眼カメラとして例示した本実施例に限定されるのもではない。

次に、本実施形態に係る制御システム１０００による自動運転制御の一時継続の流れについて詳細に説明する。図８は、本実施形態に係る制御システム１０００による自動運転制御の一時継続の流れを示すフローチャートである。なお、図８には、図７におけるステップＳ１１０５の処理を詳細化したフローチャートが示されている。

診断部１４０が、一方の車載カメラ１１５が撮像した画像に基づく残存機能が利用可能であると判断すると（図７におけるステップＳ１１０４：Ｙｅｓ）、環境認識部１３０は、上記の画像に基づく道路領域や前方車両などの物体に係る推定を実行する（Ｓ１２０１）。上述したように、環境認識部１３０は、区画線などに基づいて道路領域を推定してもよい。また、環境認識部１３０は、前方車両が走行した領域を道路領域として推定してもよい。

また、ステップＳ１２０１における処理と並行して、制御部２１０は、車載カメラ１１５に機能不全が生じたため、通常運転への切り替えを行う旨を運転者に対し通知させる（Ｓ１２０２）。また、制御部２１０は、撮像部１１０の機能不全に伴う緊急停止の可能性があることなどを周囲の走行車両に対し通知させる（Ｓ１２０３）。

なお、ステップＳ１２０２およびＳ１２０３において、制御部２１０は、診断部１４０が推定した機能不全の原因を運転者や周囲走行車両の搭乗者などの第三者に対し通知させてもよい。この場合、運転者や第三者は、機能不全の原因に対応した事故回避行動などを行うことが可能となる。また、該当車両が乗合バスや多数の運手者が交代で乗務利用する商用車などでは、故障把握と修理管理が的確に行われ、部分故障があっても車両の利用の弊害を最少化することが可能となる。また、早期の修理管理の為に故障事象や診断情報の通知をさらに広げ、車両の運行事業者やその運行管理機器、車両メンテナンスサービス管理者やその管理機器装置、道路利用管理システムなどに通知を行ってもよく、通知の対象者を運転者や周囲道路利用者に限定する必要はない。

また、ステップＳ１２０１〜Ｓ１２０３における処理が順次完了すると、制御部２１０は、撮像部１１０の残存機能を用いた自動走行の一時的な継続制御に移行する（Ｓ１２０４）。

ステップＳ１２０４において、一時的な自動走行の継続制御に移行すると、制御部２１０は、ステップＳ１２０１において推定された道路領域や前方車両、障害物、道路標識などに基づいて、減速、ＡＣＣ機能、ＬＫＡＳ機能などの制御を実行する（Ｓ１２０５）。

次に、運転者認識部２２０は、認識した運転者の状態や特性に基づいて、運転者が２次タスクを中断し通常運転に復帰するまでの時間を示す指標である推定復帰時間を算出する（Ｓ１２０６）。

また、制御部２１０は、環境認識部１３０が推定した周囲環境に基づいて、運転者による運転復帰を許容することが可能な時間を示す指標である許容復帰時間を算出する（Ｓ１２０７）。この際、制御部２１０は、例えば、走行中の道路の混雑度合いや撮像部１１０に生じた機能不全の重症度合いなどに基づいて、許容復帰時間を動的に算出することができる。例えば、交通量が著しく少ない道路区間を走行中であり、その先のクリアパスとして判定される区間を単独走行している場合は、緊急の短期引き継ぎは必要がないが、自車が道路マーカーがすり減って境界判別が困難なワインディングロードに進入する直前などの状況にある場合は、仮に自車が緊急停車をして周辺走行車両の通行妨害に成りえても緊急停車を優先して制御をしてもよい。

続いて、制御部２１０は、ステップＳ１２０７において算出した許容復帰時間内に運転者による運転復帰が可能か否か、または許容復帰時間内に運転者による運転復帰されたか否かを判定する（Ｓ１２０８）。

ここで、ステップＳ１２０６において算出された推定復帰時間が許容復帰時間を超える場合、または許容復帰時間が経過した場合（Ｓ１２０８：Ｎｏ）、制御部２１０は、運転者による運転復帰が困難であると判定し、緊急減速や停止を行う旨の通知を運転者や周囲の走行車両に通知した後、車両を減速させ、安全な場所に停車させる（Ｓ１２１０）。

一方、許容時間内に運転者による運転復帰が完了した場合、制御部２１０は、機能不全が検出されていない車載カメラ１１５が撮像した画像から推定された周囲環境に基づいて、運転者による運転を支援する運転支援機能を実行してもよい（Ｓ１２０９）。ここで、上記の運転機能支援には、例えば、区画線の逸脱に係る通告、前方車両距離に係る通告、標識認識などが含まれ得る。本実施形態に係る制御部２１０が有する上記の機能によれば、一方の車載カメラ１１５に機能不全が生じた場合であっても、残存機能を用いて運転者を最大限にサポートすることが可能となる。

以上、本実施形態に係る制御システム１０００による自動運転制御の短期一時継続の流れについて説明した。つまり、上記に述べた内容は利用中に故障が生じた緊急時の対処機能としての利用である。一方、本実施形態に係る車両のより中期的な利用を想定すると、複眼カメラ自体が車両の運行に対して必ずしも必須機能ではなく、かつ安全面において致命的な故障で無い為に、複眼カメラの機能故障をしたまま修理に持ち込むまで、故障状態のまま利用が発生することも想定される。その場合の、車両システムの起動時における制御システム１０００の動作の流れについて説明する。

複眼カメラ１０に機能不全が生じている場合、周囲環境の認識に係る機能が制限されるため、可能な限り早く修理を受けることが望ましい。しかし、一部の運転支援機能が利用できる場合や、通常運転に支障がない場合にあっては、ユーザが複眼カメラ１０に生じている機能不全を失念してしまう場合も想定される。

また、同一の車両を家族で共有する場合や、企業において複数の従業員が同一の車両を用いる場合などには、機能不全が生じていることを知らない運転者が自動運転機能を利用しようとする可能性もある。

このため、本実施形態に係る制御システム１０００では、複眼カメラ１０の機能不全が修理によって改善されるまで、車両の起動時に複眼カメラ１０の修理要求に係る通知を運転者や同乗者に対し通知させることを特徴の一つとする。この際、本実施形態に係る制御部２１０は、修理が実行されるまでの間、上記の通知をオフに設定できないよう制御を行ってもよい。

本実施形態に係る制御部２１０が有する上記の機能によれば、複数の運転者が車両を共有する場合であっても、すべての運転者に対し、複眼カメラ１０に機能不全が生じていることを知らせることができる。また、制御部２１０が有する上記の機能によれば、少なくとも車両の起動時において繰り返し修理要求を行うことができ、機能不全の早期修理を効果的に促すことが可能となる。

図９は、本実施形態に係る車両の起動時における制御システム１０００の動作の流れを示すフローチャートである。

図９を参照すると、車両が起動された際、まず、診断部１４０が不具合ログや修理に係るログを取得する（Ｓ１３０１）。

また、診断部１４０は、走行中と同様に撮像部１１０に係る機能不全モニタリングを実行する（Ｓ１３０２）。

ここで、診断部１４０が、ステップＳ１３０１において取得したログやステップＳ１３０２における機能不全モニタリングから複眼カメラ１０に係る機能不全を検出できない場合（Ｓ１３０３：Ｎｏ）、制御部２１０は、自動運転モードを許諾してもよい（Ｓ１３０８）。

一方、ステップＳ１３０１において取得したログやステップＳ１３０２における機能不全モニタリングから複眼カメラ１０に係る機能不全を検出した場合（Ｓ１３０３：Ｎｏ）、続いて、診断部１４０は、正常に動作している車載カメラ１１５の有無と、利用可能な残存機能を判定する（Ｓ１３０４）。

ここで、診断部１４０が、正常に動作している車載カメラ１１５が撮像した画像に基づいて利用可能な残存機能があると判定した場合（Ｓ１３０５：Ｙｅｓ）、制御部２１０は、当該残存機能を用いた運転支援モードを許諾してもよい（Ｓ１３０６）。

一方、診断部１４０が、正常に動作している車載カメラ１１５が撮像した画像に基づいて利用可能な残存機能がないと判定した場合（Ｓ１３０５：Ｎｏ）、制御部２１０は、通常運転モードのみを許諾する（Ｓ１３０７）。

また、ステップＳ１３０６またはＳ１３０７における処理の完了後、制御部２１０は、複眼カメラ１０に生じている機能不全の修理要求に係る通知を、運転者や外部装置に対し通知させる（Ｓ１３０８）。ここで、上記の外部装置には、運転者や同乗者が所持する端末、車両のディーラーが管理するシステムなどが含まれてもよい。さらに不完全なシステムを公共環境で継続利用を行うため、その影響を被る道路利用者全般に対する自車の状況発信を行う仕組みを備えてもよく、視覚的、聴覚的、あるいは無線等による情報を利用して自車のステータス発信を行ってもよい。

＜２．ハードウェア構成例＞
次に、本開示の一実施形態に係る制御システム１０００のハードウェア構成例について説明する。図１０は、本開示の一実施形態に係る制御システムのハードウェア構成例を示すブロック図である。図１０を参照すると、本開示の一実施形態に係る制御システム１０００は、ＥＣＵ９００、ステレオカメラ９０５、周囲環境取得ユニット９１０、センサ９１５、マイクロフォン９２０、通信装置９２５、ＧＮＳＳ受信機９３０、スピーカ９３５、ディスプレイ９４０、ランプ９４５、エンジンアクチュエータ９５０、方向指示器９５５、ブレーキ９６０、ステアリング９６５、およびアクセル９７０を含む。

（ＥＣＵ９００）
ＥＣＵ９００は、実施形態において説明した制御装置２０に対応する。ＥＣＵ９００は、入力される種々の情報に基づいて、運転制御に係る制御信号を生成し、制御対象の制御を実現する。

（ステレオカメラ９０５）
ステレオカメラ９０５は、実施形態において説明した複眼カメラ１０に対応する。ステレオカメラ９０５は、２つのカメラにより撮像した画像に基づいてディスパリティーマップを生成し、周囲環境３次元的に認識する。

（周囲環境取得ユニット９１０）
周囲環境取得ユニット９１０は、撮像画像以外のデータに基づいて周囲環境を認識する装置である。周囲環境取得ユニット９１０は、例えば、ソナー９１１、レーダ９１２、Ｌｉｄａｒ９１３などを含む。

（センサ９１５）
センサ９１５は、周囲環境や車両に係る種々のデータをセンシングする装置である。センサ９１５は、例えば、光センサ、熱センサ、湿度センサ、加速度センサ、角速度センサ、地磁気センサ、圧力センサ、摩擦センサなどを含む。

（マイクロフォン９２０）
マイクロフォン９２０は、車両の内部や外部に生じた音情報を収集する装置である。

（通信装置９２５）
通信装置９２５は、外部装置との無線通信を実現する装置である。通信装置９２５は、例えば、国際電気通信連合が定める規格に準拠した通信を実現してもよい。また、通信装置９２５は、ＤＳＲＣ（ＤｅｄｉｃａｔｅｄＳｈｏｒｔＲａｎｇｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）やＢｌｕｅｔｏｏｔｈ（登録商標）、Ｂｅａｃｏｎなどの技術を用いた無線通信を行ってもよい。

（ＧＮＳＳ受信機９３０）
ＧＮＳＳ受信機９３０は、ＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）から送信される電波を受信する装置である。

（スピーカ９３５）
スピーカ９３５は、ＥＣＵ９００による制御に基づいて、音情報を通知する装置である。スピーカ９３５は、例えば、ステレオカメラ９０５に生じた不具合に係る通知を音声により出力する。

（ディスプレイ９４０）
ディスプレイ９４０は、ＥＣＵ９００による制御に基づいて、視覚情報を通知する装置である。ディスプレイ９４０は、例えば、ステレオカメラ９０５に生じた不具合に係る通知をテキストや画像により表示する。

（ランプ９４５）
ランプ９４５は、ＥＣＵ９００による制御に基づいて、光を発する種々の装置である。ランプ９４５には、ヘッドライトやテールライトのほか、車両の内部や外部に備えられる警告灯などを含む。

（エンジンアクチュエータ９５０）
エンジンアクチュエータ９５０は、ＥＣＵ９００による制御に基づいて、エンジンに動力を提供する装置である。

（方向指示器９５５）
方向指示器９５５は、ＥＣＵ９００による制御に基づいて、車両の進行方向を他者に対し提示する装置である。

（ブレーキ９６０）
ブレーキ９６０は、車両の減速を実現するための装置である。ブレーキ９６０は、運転者により操作されたペダルの踏込量などをＥＣＵ９００に伝送する。また、ブレーキアクチュテータ９６１は、ＥＣＵ９００による制御に基づいて、ブレーキ９６０に動力を提供する。

（ステアリング９６５）
ステアリング９６５は、車両の進行方向を決定するための装置である。ステアリング９６５は、運転者による操舵の方向や程度などをＥＣＵ９００に伝送する。また、ステアリングアクチュエータ９６６は、ＥＣＵ９００による制御に基づいて、ステアリング９６５に動力を提供する。

（アクセル９７０）
アクセル９７０は、車両の速度を制御するための装置である。アクセル９７０は、運転者により操作されたペダルの踏込量などをＥＣＵ９００に伝送する。

以上、本開示の一実施形態に係る制御システム１０００のハードウェア構成例について説明した。なお、図１０を用いて説明した上記の構成はあくまで一例であり、制御システム１０００のハードウェア構成は係る例に限定されず、柔軟に変形され得る。

＜３．まとめ＞
以上説明したように、本開示の一実施形態に係る制御装置２０は、車両に係る自動運転制御の実行中に周囲環境の認識に用いられる複眼カメラの機能不全が検出された場合、当該記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続すること、を特徴の一つとする。係る構成によれば、複眼カメラに不具合が生じた場合であっても、より安全な車両制御を実現することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、制御装置２０が主に車両の自動運転に係る制御を行う場合を主な例として説明したが、本技術はかかる例に限定されない。制御装置２０は、例えば、ロボットの移動など、自律移動を行う種々の装置を制御することが可能である。

また、例えば、上記実施形態では、制御装置２０が主に自動運転で利用される複眼カメラ１０が備える車載カメラのうち、正常に動作する車載カメラの残存機能を用いて運転制御を行う場合を例に述べたが、本技術思想は、ステレオカメラに限らず、近距離、遠距離ミリ波レーダやソナー、多焦点多眼カメラシステムやＬｉｄａｒなどの多様な周囲環境認知ユニットにも適用可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、本明細書の制御システム１０００の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、制御システム１０００の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
車両の運転制御を行う制御部、
を備え、
前記制御部は、前記車両に係る自動運転制御の実行中に周囲環境の認識に用いられる複眼カメラの機能不全が検出された場合、前記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続する、
制御装置。
（２）
前記複眼カメラは第１の車載カメラおよび第２の車載カメラを備えるステレオカメラであり、
前記制御部は、前記第１の車載カメラまたは前記第２の車載カメラの一方に機能不全が検出された場合、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続する、
前記（１）に記載の制御装置。
（３）
前記制御部は、前記機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された道路領域に基づいて、前記車両の自動走行を一時的に継続する、
前記（２）に記載の制御装置。
（４）
前記道路領域は、前記機能不全が検出されていないもう一方の車載カメラが撮像した画像に含まれる区画線に基づいて推定され、
前記制御部は、前記区画線を逸脱しないよう、前記道路領域において前記車両を一時的に自動走行させる、
前記（３）に記載の制御装置。
（５）
前記制御部は、前記機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された前方車両の位置に基づいて、前記車両の自動走行を一時的に継続する、
前記（２）〜（４）のいずれかに記載の制御装置。
（６）
前記制御部は、推定された前記前方車両との距離に基づいて、前記前方車両を追尾するよう、前記車両の自動走行を一時的に継続する、
前記（５）に記載の制御装置。
（７）
前記制御部は、運転者による運転復帰が検出されるまで、前記車両の自動走行を一時的に継続する、
前記（１）〜（６）のいずれかに記載の制御装置。
（８）
前記制御部は、許容復帰時間内に前記運転者による運転復帰が困難な場合、前記車両の安全停止制御を実行する、
前記（７）に記載の制御装置。
（９）
前記制御部は、推定された前記運転者の推定復帰時間が許容復帰時間を超える場合、前記車両の安全停止制御を実行する、
前記（７）または（８）に記載の制御装置。
（１０）
前記制御部は、前記運転者による運転復帰が完了したのち、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された周囲環境に基づいて、運転支援機能を実行する、
前記（７）〜（９）のいずれかに記載の制御装置。
（１１）
前記制御部は、前記運転者による運転復帰が完了したのち、区画線の逸脱に係る通告、前方車両距離に係る通告、または標識認識のうち少なくともいずれかを実行する、
前記（１０）に記載の制御装置。
（１２）
前記制御部は、前記複眼カメラの機能不全が検出された場合、前記複眼カメラの修理要求に係る通知を運転者に対し通知させる、
前記（１）〜（１１）のいずれかに記載の制御装置。
（１３）
前記制御部は、前記複眼カメラの機能不全が改善されるまで、前記車両の起動時に前記複眼カメラの修理要求に係る通知を運転者に対し通知させるとともに当該通知に係るログを記録させる、
前記（１２）に記載の制御装置。
（１４）
前記制御部は、前記複眼カメラの機能不全が検出された場合、推定された機能不全の原因を運転者または第三者のうち少なくともいずれかに対し通知させる、
前記（１）〜（１３）のいずれかに記載の制御装置。
（１５）
前記制御部は、前記第１の車載カメラまたは前記第２の車載カメラの両方に機能不全が検出された場合、前記車両の安全停止制御を実行する、
前記（２）〜（６）のいずれかに記載の制御装置。
（１６）
車両の運転制御を行う制御装置と、
前記車両の周囲を撮像し周囲環境の認識を行う複眼カメラと、
を備え、
前記制御装置は、前記車両に係る自動運転制御の実行中に前記複眼カメラの機能不全が検出された場合、前記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続する、
制御システム。

１０００制御システム
１０複眼カメラ
１１０撮像部
１１５車載カメラ
１２０マップ生成部
１３０環境認識部
１４０診断部
１５０通信部
２０制御装置
２１０制御部
２２０運転者認識部
２３０学習器
２４０通信部
３０制御対象装置

Claims

車両の運転制御を行う制御部、
を備え、
前記制御部は、前記車両に係る自動運転制御の実行中に周囲環境の認識に用いられる複眼カメラの機能不全が検出された場合、前記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続し、
前記複眼カメラは第１の車載カメラおよび第２の車載カメラを備えるステレオカメラであり、
前記制御部は、前記第１の車載カメラまたは前記第２の車載カメラの一方に機能不全が検出された場合、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された前方車両の位置に基づいて、前記車両の自動走行を一時的に継続する、
制御装置。
前記制御部は、前記機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された道路領域に基づいて、前記車両の自動走行を一時的に継続する、
請求項１に記載の制御装置。
前記道路領域は、前記機能不全が検出されていないもう一方の車載カメラが撮像した画像に含まれる区画線に基づいて推定され、
前記制御部は、前記区画線を逸脱しないよう、前記道路領域において前記車両を一時的に自動走行させる、
請求項２に記載の制御装置。
前記制御部は、推定された前記前方車両との距離に基づいて、前記前方車両を追尾するよう、前記車両の自動走行を一時的に継続する、
請求項１に記載の制御装置。
前記制御部は、運転者による運転復帰が検出されるまで、前記車両の自動走行を一時的に継続する、
請求項１に記載の制御装置。
前記制御部は、許容復帰時間内に前記運転者による運転復帰が困難な場合、前記車両の安全停止制御を実行する、
請求項５に記載の制御装置。
前記制御部は、推定された前記運転者の推定復帰時間が許容復帰時間を超える場合、前記車両の安全停止制御を実行する、
請求項５に記載の制御装置。
前記制御部は、前記運転者による運転復帰が完了したのち、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された周囲環境に基づいて、運転支援機能を実行する、
請求項５に記載の制御装置。
前記制御部は、前記運転者による運転復帰が完了したのち、区画線の逸脱に係る通告、前方車両距離に係る通告、または標識認識のうち少なくともいずれかを実行する、
請求項８に記載の制御装置。
前記制御部は、前記複眼カメラの機能不全が検出された場合、前記複眼カメラの修理要求に係る通知を運転者に対し通知させる、
請求項１に記載の制御装置。
前記制御部は、前記複眼カメラの機能不全が改善されるまで、前記車両の起動時に前記複眼カメラの修理要求に係る通知を運転者に対し通知させるとともに当該通知に係るログを記録させる、
請求項１０に記載の制御装置。
前記制御部は、前記複眼カメラの機能不全が検出された場合、推定された機能不全の原因を運転者または第三者のうち少なくともいずれかに対し通知させる、
請求項１に記載の制御装置。
前記制御部は、前記第１の車載カメラまたは前記第２の車載カメラの両方に機能不全が検出された場合、前記車両の安全停止制御を実行する、
請求項１に記載の制御装置。
車両の運転制御を行う制御装置と、
前記車両の周囲を撮像し周囲環境の認識を行う複眼カメラと、
を備え、
前記制御装置は、前記車両に係る自動運転制御の実行中に前記複眼カメラの機能不全が検出された場合、前記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続し、
前記複眼カメラは第１の車載カメラおよび第２の車載カメラを備えるステレオカメラであり、
前記制御装置は、前記第１の車載カメラまたは前記第２の車載カメラの一方に機能不全が検出された場合、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された前方車両の位置に基づいて、前記車両の自動走行を一時的に継続する、
制御システム。
車両の運転制御を行い、
前記車両に係る自動運転制御の実行中に周囲環境の認識に用いられ、第１の車載カメラおよび第２の車載カメラを備えるステレオカメラである複眼カメラの機能不全が検出された場合、前記複眼カメラの残存機能により推定された周囲環境に基づいて、前記車両の自動走行を一時的に継続し、
前記第１の車載カメラまたは前記第２の車載カメラの一方に機能不全が検出された場合、機能不全が検出されていないもう一方の車載カメラが撮像した画像から推定された前方車両の位置に基づいて、前記車両の自動走行を一時的に継続する、
処理をコンピュータが実行する、制御方法。