JP7327420B2 - 自動運転車両の遠隔支援システム及び遠隔支援方法 - Google Patents

Description

本発明は、自動運転車両の自動走行を支援するシステム及び方法に関する。

特開２０１９－１５６１９２号公報は、片側交互通行区間における車両の自動運転を行う制御装置を開示する。片側交互通行区間は、例えば、対面通行道路の一方において工事が行われる場合に、この工事区間を跨いだ車両の往来を確保するために設けられる。従来の制御装置は、カメラで取得した画像情報に基づいて、工事区間の存在、及び工事区間に特有の設置物を認識する。特有の設置物としては、工事車両、三角コーン、仮設信号機が例示されている。

仮設信号機は、工事区間の手前に設置される。従来の制御装置は、片側交互通行区間における車両の通行の可否を、仮設信号機が示す情報（例えば、表示色、時間表示）に基づいて判定する。仮設信号機が認識されない場合は、別の情報に基づいてこの通行の可否が判定される。別の情報としては、交通誘導員の動きと、先行車両の挙動と、が例示されている。これらの情報が認識されない場合、従来の制御装置は、ドライバによる手動運転を促す制御を実行する。

特開２０１９－１５６１９２号公報 特開２０１９－１５６１９６号公報 特開２０１９－０３６１００号公報

仮設信号機が認識されない原因として、車両による仮設信号機の設置箇所の地図上での把握が難しく、故に、常設信号機に比べてカメラ画像上で認識し難いことが挙げられる。この認識性の問題は、私有地（例えば、商業施設の駐車場）に設置される信号機にも当てはまる。

そこで、車両の前方に存在する信号機の指示内容の認識精度が低く、当該指示内容の認識支援を遠隔施設のオペレータに要求するケースを考える。このケースでは、車両は、信号機の手前で一時停止しつつ、認識支援を要求する信号を遠隔施設に送信する。この信号の送信に際し、車載カメラの画像情報はオペレータに提供される。そのため、オペレータは、信号機の指示内容を容易に認識する。そして、オペレータは、信号機の指示内容に従って通行許可信号をコンピュータに入力する。この通行許可信号は、遠隔施設から車両に送信される。

ところが、通信回線の伝送速度や、遠隔施設から車両までの距離によっては通信遅延が生じる。そのため、通行許可信号を車両が受信するタイミング、又は、この通行許可信号に基づいて車両が発進するタイミングにおいて、信号機の指示内容が車両の通行に望ましくないものに変わっている可能性がある。よって、このような指示内容の変化に適切に対処するための改良が求められる。

本発明の１つの目的は、車両の前方に存在する信号機の指示内容の認識支援が行われる場合において、当該指示内容のリアルタイム情報に基づいて車両が安全に走行することのできる技術を提供することにある。

第１の観点は、車両の遠隔支援システムであり、次の特徴を有する。
前記遠隔支援システムは、自動走行を行う車両と、前記車両と通信を行う遠隔施設と、を備える。
前記車両は、前記車両の前方の撮像画像情報を含む運転環境情報に基づいて前記車両の自動運転制御を行う制御装置を備える。
前記遠隔施設は、入力装置と、表示装置と、情報処理装置と、を備える。前記入力装置は、オペレータにより操作される。前記表示装置には、前記撮像画像情報が表示される。前記情報処理装置は、前記入力装置が受け付けた入力情報を処理する入力情報処理、及び前記表示装置の表示制御処理を行う。
前記制御装置は、前記自動運転制御において、
前記運転環境情報に基づいて、前記車両の前方の信号機の指示内容に従った前記車両の通行許可条件が満たされるか否かを判定し、
前記通行許可条件が満たされないと判定された場合、前記信号機の手前において前記車両を一時停止させ、
前記オペレータによる支援を要求する支援要求信号を前記遠隔施設に送信する。
前記情報処理装置は、
前記支援要求信号を受信した場合、前記表示制御処理において、前記車両の一時停止中の前記撮像画像情報を示す参照画像情報を表示するための処理を行い、
前記参照画像情報に含まれる信号機を構成するピクセルの位置情報を前記入力情報として受け付けた場合、前記入力情報処理において、前記位置情報を含む支援情報を前記車両に送信する。
前記制御装置は、前記自動運転制御において、更に、
前記支援情報を受信した場合、前記位置情報に基づいて、前記通行許可条件が満たされるか否かを再度判定し、
前記通行許可条件が満たされると判定された場合、前記車両の一時停止状態を解除して、前記信号機の指示内容に従って走行するための車両制御を行う。

第２の観点は、第１の観点において、更に次の特徴を有する。
前記情報処理装置は、前記車両の通行許可信号を前記入力情報として受け付けた場合、前記入力情報処理において、前記通行許可信号を含む前記支援情報を前記車両に送信する。
前記制御装置は、前記自動運転制御において、更に、
前記通行許可信号の受信後において前記通行許可条件が満たされると判定された場合、前記一時停止状態を解除して前記車両制御を行う。

第３の観点は、車両の自動走行を遠隔支援する車両の遠隔支援方法であり、次の特徴を有する。
前記遠隔支援方法では、
前記車両の制御装置が、前記車両の前方の撮像画像情報を含む運転環境情報に基づいて前記車両の自動運転制御を行い、
前記車両と通信を行う遠隔施設の情報処理装置が、オペレータにより操作される入力装置が受け付けた入力情報を処理する入力情報処理と、前記撮像画像情報が表示される表示装置の表示制御処理と、を行う。
前記制御装置は、前記自動運転制御において、
前記運転環境情報に基づいて、前記車両の前方の信号機の指示内容に従った前記車両の通行許可条件が満たされるか否かを判定し、
前記通行許可条件が満たされないと判定された場合、前記信号機の手前において前記車両を一時停止させ、
前記オペレータによる支援を要求する支援要求信号を前記遠隔施設に送信する。
前記情報処理装置は、
前記支援要求信号を受信した場合、前記表示制御処理において、前記車両の一時停止中の前記撮像画像情報を示す参照画像情報を表示するための処理を行い、
前記参照画像情報に含まれる信号機を構成するピクセルの位置情報を前記入力情報として受け付けた場合、前記入力情報処理において、前記位置情報を含む支援情報を前記車両に送信する。
前記制御装置は、前記自動運転制御において、更に、
前記支援情報を受信した場合、前記位置情報に基づいて、前記通行許可条件が満たされるか否かを再度判定し、
前記通行許可条件が満たされると判定された場合、前記車両の一時停止状態を解除して、前記信号機の指示内容に従って走行するための車両制御を行う。

第４の観点は、第３の観点において、更に次の特徴を有する。
前記情報処理装置は、前記車両の通行許可信号を前記入力情報として受け付けた場合、前記入力情報処理において、前記通行許可信号を含む前記支援情報を前記車両に送信する。
前記制御装置は、前記自動運転制御において、更に、
前記通行許可信号の受信後において前記通行許可条件が満たされると判定された場合、前記一時停止状態を解除して前記車両制御を行う。

第１又は３の観点によれば、信号機の指示内容の認識の精度が低い場合であっても、支援要求信号に応答して遠隔施設から車両に支援情報が提供される。支援情報には、車両の一時停止中の撮像画像情報（参照画像情報）に含まれる信号機を構成するピクセルの位置情報が含まれる。そのため、信号機の指示内容の認識の精度が低い状況を改善することが可能となる。そのため、信号機の指示内容のリアルタイム情報を車両において認識して、通行許可条件の判定を行うことが可能となる。よって、信号機の指示内容に従った車両の走行安全性を高めることが可能となる。

第２又は４の観点によれば、通行許可信号を含む支援情報が車両に提供される場合においても、信号機の指示内容のリアルタイム情報を車両において認識して、通行許可条件の判定を行うことが可能となる。

本発明の実施形態の概要を説明する図である。 本発明の実施形態の概要を説明する図である。 本発明の実施形態の概要を説明する図である。 本発明の実施形態に係る遠隔支援システムの構成例を示す図である。 通行不可能区間が認識された場合に自動運転車両において行われる自動運転制御処理の流れを示すフローチャートである。 通行不可能区間が認識された場合に自動運転車両において行われる別の自動運転制御処理の流れを示すフローチャートである。 遠隔施設において行われる情報処理の流れを示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。なお、実施形態に係る遠隔支援方法は、実施形態に係る遠隔支援システムにおいて行われるコンピュータ処理により実現される。また、各図において、同一または相当する部分には同一符号を付してその説明を簡略化ないし省略する。

１．実施形態の概要
図１～３は、実施形態の概要を説明する図である。図１及び２には、車線Ｌ１を走行する自動運転車両３が描かれている。自動運転車両３は、実施形態に係る車両の遠隔支援システムの一部を構成する。自動運転車両３の前方には、工事機械ＣＭが存在している。工事機械ＣＭの周囲の領域は、車両の通行が不可能な区間ＩＰＳ（impassable section：走行不可能区間）を構成する。つまり、図１及び２の例では、工事区間としての区間ＩＰＳが設定されている。ただし、区間ＩＰＳの例はこれに限られない。例えば、停止車両（例えば、故障車両）の周囲の領域に区間ＩＰＳが設定されてもよい。

車線Ｌ１に隣接する車線Ｌ２は、対向車両が走行するための道路である。車線Ｌ１と車線Ｌ２の間に中央分離帯などの構造物はない。そのため、車線Ｌ１及びＬ２は、片側１車線の対面通行道路を構成する。対面通行道路に区間ＩＰＳが設定される場合、区間ＩＰＳの周囲の領域は、車両の交互の通行が可能な区間ＯＡＳ（one-side alternate section：片側交互通行区間）を構成することがある。区間ＯＡＳは、車線Ｌ１における区間ＩＰＳの手前及び奥の領域と、区間ＩＰＳに隣接する車線Ｌ２の領域と、この隣接領域の手前及び奥の領域と、を含んでいる。

車線Ｌ１における区間ＩＰＳの手前には、信号機ＴＳが設置されている。信号機ＴＳは、車線Ｌ１を走行する車両（つまり、自動運転車両３）が、区間ＯＡＳを通行するための仮設信号機である。信号機ＴＳは点灯部（例えば、青色及び赤色点灯部）を備えている。点灯部の点灯状態は、所定のインターバルで切り替えられる。信号機ＴＳは、点灯状態が切り替わるまでの時間を表示する表示部を備えていてもよい。

図１において、自動運転車両３は、区間ＯＡＳの手前において減速している。自動運転車両３が減速を行う例としては、点灯部の指示内容が「停止」に該当する（具体的には、赤色点灯部が点灯している）が挙げられる。別の例としては、自動運転車両３による信号機ＴＳ、点灯部又は点灯状態の認識の精度が低い場合（信号機ＴＳ等を認識できなかった場合を含む）が挙げられる。信号機ＴＳ等の認識の精度が低い場合、自動運転車両３は、区間ＯＡＳの手前において一時停止する。

図２には、区間ＯＡＳの手前において一時停止する自動運転車両３が描かれている。信号機ＴＳ等の認識の精度が低い場合、自動運転車両３は、停止動作の完了後（又は減速動作の実施中）に、区間ＯＡＳにおける通行の支援を要求する信号（支援要求信号）ＲＥＱを遠隔施設４に送信する。遠隔施設４に駐在するオペレータは、支援要求信号ＲＥＱに応答してこの支援を実施する。支援要求信号ＲＥＱの送信に際しては、自動運転車両３の停止中における自動運転車両３の前方の撮像画像情報が「参照画像情報ＲＥＦ」として送信される。

図３は、参照画像情報ＲＥＦの一部を模式的に示した図である。図３に示される参照画像情報ＲＥＦは、遠隔施設４においてオペレータが視認可能に表示される。そのため、参照画像情報ＲＥＦを見たオペレータは、信号機ＴＳを認識する。信号機ＴＳを認識したオペレータは、信号機ＴＳを構成するピクセルの位置情報ＰＰＳを含む支援情報ＡＳＳを自動運転車両３に送信する。ピクセルの位置情報ＰＰＳは、自動運転車両３による信号機ＴＳ等の認識の精度を高めるための情報である。

参照画像情報ＲＥＦは、複数のピクセルから構成されている。図３に示される例では、信号機ＴＳを囲むように着目領域ＤＲが設定される。着目領域ＤＲは、参照画像情報ＲＥＦを見たオペレータにより指定される領域である。着目領域ＤＲは、座標（i-1，j-1）、（i+2，j-1）、（i-1，j+2）及び（i+2，j+2）を頂点とする矩形領域であり、この着目領域ＤＲを構成する座標情報が位置情報ＰＰＳに該当する。

位置情報ＰＰＳを含む支援情報ＡＳＳを受信した自動運転車両３は、この位置情報ＰＰＳと、撮像画像情報と、に基づいて、信号機ＴＳの指示内容に従って区間ＯＡＳを自動通過するための通行許可条件が満たされるか否かを判定する。通行許可条件は、例えば、次の条件を含んでいる。
(i) 信号機ＴＳが認識されている
(ii) 点灯部の指示内容が「通行許可」に該当する（具体的には、青色点灯部が点灯している）
通行許可条件が満たされると判定された場合、自動運転車両３は、一時停止状態を解除して発進し、区間ＯＡＳを自動通過する。

信号機ＴＳを認識したオペレータは、点灯部の指示内容が「通行許可」に該当する場合、通行許可信号ＳＴＡを自動運転車両３に送信してもよい。この場合、通行許可信号ＳＴＡは、支援情報ＡＳＳの追加情報として自動運転車両３に送信される。通行許可信号ＳＴＡを受信した場合、自動運転車両３は、この通行許可信号ＳＴＡの受信後、通行許可条件が満たされるか否かを判定する。そして、通行許可条件が満たされると判定された場合、自動運転車両３は、一時停止状態を解除して発進し、区間ＯＡＳを自動通過する。つまり、通行許可信号ＳＴＡの受信後において通行許可条件が満たされると判定された場合、自動運転車両３は、区間ＯＡＳを自動通過する。

このように、実施形態によれば、信号機ＴＳ等の認識の精度が低い場合、区間ＯＡＳにおける通行の支援がオペレータによって行われる。この支援では、参照画像情報ＲＥＦを見たオペレータによって、位置情報ＰＰＳを含む支援情報ＡＳＳが自動運転車両３に提供される。位置情報ＰＰＳによれば、自動運転車両３による信号機ＴＳ等の認識の精度が高まる。そのため、通行許可条件が満たされるか否かの判定を自動運転車両３において行うことが可能となる。

通行許可信号ＳＴＡのみが自動運転車両３に提供される場合は、この通行許可信号ＳＴＡの送受信において発生するタイムラグが問題となる。特に、通信遅延が生じた場合には、タイムラグが拡大してしまう。そのため、自動運転車両３の発進のタイミングにおいて、点灯部の指示内容が「通行許可」から「停止」に変わっている可能性がある。この点、位置情報ＰＰＳに基づいた通行許可条件の判定によれば、信号機ＴＳが示すリアルタイム情報を考慮できる。よって、信号機ＴＳの指示内容に従って区間ＯＡＳを自動通過する際の安全性を高めることが可能となる。

なお、図１～３では、区間ＯＡＳに信号機ＴＳが設置される例を説明した。しかしながら、実施形態が適用される信号機ＴＳには、私有地に設置される信号機（以下、「私設信号機」とも称す。）も含まれる。私設信号機は、私有地の特定領域（例えば、複数の道路の交差地点又は合流地点）に設置される保安器具である。私設信号機の典型的な設置箇所としては、特定領域の側方又は上方が想定される。私設信号機に適用される実施形態の概要は、図１～３の説明における「区間ＯＡＳ」を「特定領域」と読み替えることにより説明される。

以下、実施形態に係る車両の遠隔支援システムについて詳細に説明する。

２．遠隔支援システムの構成例
２－１．全体構成例
本実施形態に係る車両の遠隔支援システムは、自動運転車両３と遠隔施設４とをネットワークで接続したシステムである。図４は、本実施形態に係る遠隔支援システム１の構成例を示す図である。

遠隔支援システム１は、自動運転車両３と、ネットワーク（すなわち、インターネット）２を介して自動運転車両３と通信を行う遠隔施設４と、を備えている。自動運転車両３の運転状況は、遠隔施設４によって監視される。遠隔施設４は、１台の自動運転車両３を専属で監視してもよいし、同時に複数台の自動運転車両３を監視してもよい。

遠隔施設４では、オペレータにより自動運転車両３の運転状況の監視が行われる。オペレータによる監視を実現するため、遠隔施設４は、通信装置（施設側通信装置）４１と、情報処理装置４２と、表示装置４３と、入力装置４４と、を備える。

通信装置４１は、自動運転車両３からの撮像画像情報を受信するための装置である。情報処理装置４２は、少なくとも１つのプロセッサと、少なくとも１つのメモリと、を有するマイクロコンピュータから構成される。情報処理装置４２は、撮像画像情報を処理して表示装置４３に表示するための処理として、表示制御処理を行う。入力装置４４は、オペレータが情報処理装置４２に対して指示を入力するためのＨＭＩ（Human Machine Interface）である。オペレータから指示が入力された場合、情報処理装置４２は、この入力情報を処理する入力情報処理を行う。通信装置４１は、情報処理装置４２による入力情報処理後の情報の一部又は全部を、自動運転車両３に送信する。

自動運転車両３は、その自動走行のための運転環境情報を取得するための機器として、カメラ３１と、ミリ波レーダ３２と、ライダー３３と、を備えている。カメラ３１は、自動運転車両３の周囲の撮像画像情報を取得するための機器であり、自動運転車両３に必須の構成である。ミリ波レーダ３２及びライダー３３は、自動運転車両３の周囲の物標情報を取得するための機器である。ミリ波レーダ３２及びライダー３３については、省略することも可能である。カメラ３１は、例えば、自動運転車両３のフロントガラスに取り付けられている。カメラ３１、ミリ波レーダ３２及びライダー３３が取得した情報は、制御装置３８に送信される。

制御装置３８は、カメラ３１、ミリ波レーダ３２及びライダー３３からの情報を含む運転環境情報と、遠隔施設４からの支援情報と、を取り込む。そして、制御装置３８は、これらの情報を処理して得られる操作信号によって、各種のアクチュエータを操作する。各種のアクチュエータには、駆動アクチュエータ３４、制動アクチュエータ３５及び操舵アクチュエータ３６が含まれる。駆動アクチュエータ３４は、自動運転車両３を駆動する。制動アクチュエータ３５は、自動運転車両３に制動力を付与する。操舵アクチュエータ３６は、自動運転車両３を操舵する。

運転環境情報には、図示しない車速センサ、加速度センサ等の車載センサにより取得された車両状態に関する情報が含まれる。運転環境情報には、更に、図示しないＧＰＳ受信機により取得された自動運転車両３の現在地を示す位置情報と、地図データベースが有する地図情報と、が含まれる。遠隔施設４からの支援情報は、通信装置（車両側通信装置）３７による無線通信によって取得される。通信装置３７が利用する無線通信の通信規格としては、４Ｇ、ＬＴＥ、５Ｇ等の移動体通信の規格が例示される。

制御装置３８は、少なくとも１つのプロセッサ３８ａと、少なくとも１つのメモリ３８ｂと、を有するマイクロコンピュータから構成される。メモリ３８ｂには、自動走行のための少なくとも１つのプログラムが記憶されている。運転環境情報を含む各種の情報は、メモリ３８ｂに格納される。メモリ３８ｂに記憶されているプログラムが読み出されてプロセッサ３８ａで実行されることにより、制御装置３８の各種の機能が実現される。

２－２．制御装置の機能例
２－２－１．自動運転制御機能
制御装置３８（プロセッサ３８ａ）は、例えば、自動運転車両３の位置情報及び地図情報に基づいて、自動運転車両３の走行ルートを計算する。そして、制御装置３８は、計算した走行ルートに沿って自動運転車両３が走行するように、自動運転車両３の駆動、操舵及び制動を制御する自動運転制御を行う。自動運転制御の実行に際し、カメラ３１からの撮像画像情報、ミリ波レーダ３２及びライダー３３からの物標情報、車載センサからの車両状態情報が適宜使用される。なお、自動運転の方法については様々な公知方法が存在し、本発明においてはその方法自体に限定はない。従って、本明細書では、走行ルートに沿った自動運転方法についての説明を省略する。

自動運転制御には、衝突回避制御が含まれる。衝突回避制御は、自動運転車両３が周囲の物標（回避対象）に衝突するのを回避するための制御である。回避対象としては、図１に示した工事機械ＣＭが例示される。物標（回避対象）の認識には、人工知能を用いた画像処理技術が利用される。撮像画像情報（又は撮像画像情報と物標情報の統合情報）から三角コーン等の保安器具が認識された場合、制御装置３８は、保安器具で区切られた領域を区間ＩＰＳとして認識する。区間ＩＰＳが認識された場合、制御装置３８は、区間ＩＰＳを回避対象とする衝突回避制御を実行する。

区間ＩＰＳを回避対象とする衝突回避制御の実行に際し、制御装置３８は、撮像画像情報、位置情報及び地図情報から、区間ＩＰＳの周囲の領域が区間ＯＡＳに該当するか否かを判定する。例えば、位置情報及び地図情報によれば、自動運転車両３が片側１車線の対面通行道路を走行していることが分かる。また、撮像画像情報によれば、区間ＩＰＳが占める車線幅方向の割合が分かる。そこで、区間ＩＰＳの占有割合が閾値以上であるか否かを判定する。これにより、区間ＩＰＳの周囲の領域が区間ＯＡＳに該当するか否かを判定することができる。

撮像画像情報又は統合情報から信号機ＴＳが認識された場合、区間ＩＰＳの占有割合に基づいた判定を省略してもよい。信号機ＴＳは、区間ＯＡＳに設置される典型的な保安器具である。そのため、信号機ＴＳが認識された場合は、区間ＩＰＳの周囲の領域が区間ＯＡＳに該当すると容易に判定することができる。

自動運転車両３の前方に区間ＯＡＳが存在すると判定された場合、制御装置３８は、撮像画像情報に基づいて、区間ＯＡＳを自動通過するための通行許可条件が満たされるか否かを判定する。通行許可条件は、例えば、次の条件を含んでいる。
(i) 信号機ＴＳが認識されている
(ii) 点灯部の指示内容が「通行許可」に該当する

通行許可条件が満たされると判定された場合、自動運転車両３は区間ＯＡＳを自動通過する。区間ＯＡＳの自動通過に際しては、例えば、自動運転車両３の現在位置から区間ＯＡＳ内の任意の位置までの走行ルート（目標トラジェクトリ）が設定される。そして、制御装置３８は、設定された目標トラジェクトリに沿って自動運転車両３が走行するように、自動運転車両３の駆動、操舵及び制動を制御する。区間ＩＰＳの通過後、制御装置３８は、自動運転車両３の現在位置から車線Ｌ１内の任意の位置までの目標トラジェクトリを設定する。そして、制御装置３８は、設定された目標トラジェクトリに沿って自動運転車両３が走行するように、自動運転車両３の駆動、操舵及び制動を制御する。

通行許可条件が満たされないと判定された場合、制御装置３８（プロセッサ３８ａ）は、区間ＯＡＳの手前で自動運転車両３が停止するように自動運転車両３の駆動、操舵及び制動を制御する。そして、制御装置３８は、支援要求信号ＲＥＱを遠隔施設４に送信する。支援要求信号ＲＥＱの送信は、自動運転車両３の停止動作の完了後に行われる。支援要求信号ＲＥＱの送信は、停止動作の完了前に行われてもよい。つまり、自動運転車両３の減速動作の実施中に支援要求信号ＲＥＱの送信が行われてもよい。

２－２－２．撮像画像送信機能
制御装置３８（プロセッサ３８ａ）は、カメラ３１からの撮像画像情報を遠隔施設４に送信する。送信される撮像画像情報には、自動運転車両３の前方の撮像画像情報が少なくとも含まれる。信号機ＴＳの手前での一時停止中に送信される撮像画像情報は、参照画像情報ＲＥＦである。参照画像情報ＲＥＦは、遠隔施設４に送信される共に、メモリ３８ｂの所定領域（又は、プロセッサ３８ａのキャッシュメモリ）に記憶される。

制御装置３８は、遠隔施設４と通信装置３７との間の通信サイクルに従って撮像画像情報を送信する。遠隔施設４に送信された撮像画像情報は、自動運転車両３の周囲の遠隔監視に用いられる。通信サイクルは固定でもよいし、運転環境情報に応じて変化させてもよい。例えば、自動車専用車線の走行中の通信サイクルを長くし、信号機の存在する交差点の走行中の通信サイクルは短くしてもよい。信号機ＴＳの手前での一時停止中の通信サイクルは、例えば、これらの通信サイクルの中間にすることができる。

３．対面通行道路に区間ＩＰＳが設定される場合の処理例
３－１．自動運転車両（制御装置）側の処理
図５は、区間ＩＰＳが認識された場合に制御装置３８が行う自動運転制御処理の流れを示すフローチャートである。図５に示されるルーチンは、区間ＩＰＳが認識されるたびに繰り返し実行される。

図５に示されるルーチンでは、まず、自動運転車両３の前方に区間ＯＡＳが存在するか否かが判定される（ステップＳ１１）。区間ＯＡＳが存在するか否かは、撮像画像情報、位置情報及び地図情報に基づいて判定される。例えば、制御装置３８は、位置情報及び地図情報に基づき、自動運転車両３が片側１車線の対面通行道路を走行しているか否かを判定する。制御装置３８は、また、撮像画像情報に基づいて、区間ＩＰＳが占める車線幅方向の割合を計算する。そして、制御装置３８は、占有割合が閾値以上であるか否かを判定する。占有割合が閾値以上の場合、区間ＯＡＳが存在すると判定される。

ステップＳ１１の判定結果が否定的な場合、本ルーチンの処理が終了される。なお、この場合、制御装置３８は、本ルーチンとは別の制御プログラムに従って、区間ＩＰＳを回避対象とする衝突回避制御を行う。ステップＳ１１の判定結果が肯定的な場合、撮像画像情報に基づいて、通行許可条件が満たされるか否かが判定される（ステップＳ１２）。通行許可条件の例については、既に説明したとおりである。

ステップＳ１２の判定結果が肯定的な場合、区間ＯＡＳを自動通過するための車両制御が行われる（ステップＳ１３）。例えば、制御装置３８は、自動運転車両３の現在位置から区間ＯＡＳ内の任意の位置までの目標トラジェクトリを設定する。そして、制御装置３８は、目標トラジェクトリに沿って自動運転車両３が走行するように、自動運転車両３の駆動、操舵及び制動を制御する。区間ＩＰＳの通過後、制御装置３８は、自動運転車両３の現在位置から車線Ｌ１内の任意の位置までの目標トラジェクトリを設定する。そして、制御装置３８は、設定された目標トラジェクトリに沿って自動運転車両３が走行するように、自動運転車両３の駆動、操舵及び制動を制御する。

ステップＳ１２の判定結果が否定的な場合、区間ＯＡＳの手前での一時停止が行われる（ステップＳ１４）。例えば、制御装置３８は、区間ＯＡＳの手前で自動運転車両３が停止するように自動運転車両３の駆動、操舵及び制動を制御する。

ステップＳ１４の処理に続いて、支援要求信号ＲＥＱが出力される（ステップＳ１５）。支援要求信号ＲＥＱは、制御装置３８から通信装置３７に送信される。その後、支援要求信号ＲＥＱは、ネットワーク２を介して通信装置４１に送信される。

ステップＳ１５の処理に続いて、位置情報ＰＰＳを含む支援情報ＡＳＳを受信したか否かが判定される（ステップＳ１６）。既に説明したように、位置情報ＰＰＳは、参照画像情報ＲＥＦに含まれる信号機ＴＳを構成するピクセルの位置情報である（図３参照）。ステップＳ１６の処理は、肯定的な判定結果が得られるまで繰り返し実行される。

ステップＳ１６の判定結果が肯定的な場合、通行許可条件が満たされるか否かが判定される（ステップＳ１７）。つまり、位置情報ＰＰＳを受信した場合、制御装置３８は、通行許可条件が満たされるか否かの判定を再度行う。ステップＳ１７の処理の内容は、ステップＳ１２のそれと基本的に同じである。ただし、ステップＳ１２の処理では撮像画像情報に基づいて判定が行われるのに対し、ステップＳ１７の処理では位置情報ＰＰＳ及び撮像画像情報に基づいて判定が行われる。

既に説明したように、位置情報ＰＰＳは、信号機ＴＳを構成するピクセルの位置情報である。つまり、位置情報ＰＰＳは、参照画像情報ＲＥＦのどのピクセル座標に信号機ＴＳが存在しているのかを示す情報である。ここで、自動運転車両３は一時停止していることから、この間に取得される撮像画像情報における信号機ＴＳのピクセル座標は、参照画像情報ＲＥＦでのそれと同じである。そのため、位置情報ＰＰＳによれば、制御装置３８による信号機ＴＳの認識の精度を高めることが可能となる。従って、通行許可条件の第１条件(i)が満たされ易くなる。

この第１条件(i)と、通行許可条件の第２条件(ii)とが同時に満たされた場合、通行許可条件が満たされると判定される。ステップＳ１７の判定結果が肯定的な場合、ステップＳ１３の処理が行われる。すなわち、制御装置３８は、区間ＯＡＳの手前の停止位置から発進し、区間ＯＡＳを自動通過するための車両制御を行う。

図６は、区間ＩＰＳが認識された場合に制御装置３８が行う別の自動運転制御処理の流れを示すフローチャートである。図６に示されるルーチンは、図５に示したルーチン同様、区間ＩＰＳが認識されるたびに繰り返し実行される。

図６に示されるステップＳ２１～Ｓ２５の処理は、図５で説明したステップＳ１１～Ｓ１５のそれと同じである。そのため、以下では、ステップＳ２６以降の処理について説明する。

ステップＳ２５の処理に続いて、位置情報ＰＰＳ及び通行許可信号ＳＴＡを含む支援情報ＡＳＳ受信したか否かが判定される（ステップＳ２６）。位置情報ＰＰＳ受信判定については、図５のステップＳ１６で説明したとおりである。通行許可信号ＳＴＡは、自動運転車両３の発進を許可する信号である。ステップＳ２６の処理は、肯定的な判定結果が得られるまで繰り返し実行される。

ステップＳ２６の判定結果が肯定的な場合、通行許可条件が満たされるか否かが判定される（ステップＳ２７）。ステップＳ２７の処理の内容は、図５のステップＳ１７のそれと基本的に同じである。ただし、ステップＳ２７の処理では、通行許可信号ＳＴＡの受信後に、位置情報ＰＰＳ及び撮像画像情報に基づいて判定が行われる。

ステップＳ２７の判定結果が肯定的な場合、ステップＳ２３の処理が行われる。すなわち、制御装置３８は、区間ＯＡＳの手前の停止位置から発進し、区間ＯＡＳを自動通過するための車両制御を行う。

３－２．遠隔施設（情報処理装置）側の処理
図７は、支援要求信号ＲＥＱに応答してオペレータが遠隔支援を行う場合において、情報処理装置４２が行う入力情報処理の流れを示すフローチャートである。図７に示されるルーチンは、情報処理装置４２が支援要求信号ＲＥＱを受信するたびに繰り返し実行される。

図７に示されるルーチンでは、まず、オペレータによる操作入力があるか否かが判定される（ステップＳ３１）。遠隔支援を行うオペレータは、表示装置４３に表示された参照画像情報ＲＥＦに基づいて、信号機ＴＳを認識する。なお、参照画像情報ＲＥＦの表示は、表示制御処理に基づいて行われる。信号機ＴＳを認識したオペレータは、入力装置４４を操作して信号機ＴＳを囲むように着目領域ＤＲを指定する。ステップＳ３１の処理は、肯定的な判定結果が得られるまで繰り返し実行される。

ステップＳ３１の判定結果が肯定的な場合、位置情報ＰＰＳが生成される（ステップＳ３２）。情報処理装置４２は、オペレータによる領域指定に基づいて、信号機ＴＳを構成するピクセルの座標情報（即ち、位置情報ＰＰＳ）を生成する。

ステップＳ３２の処理に続いて、位置情報ＰＰＳを含む支援情報ＡＳＳが出力される（ステップＳ３３）。この支援情報ＡＳＳは、情報処理装置４２から通信装置４１に送信される。その後、支援情報ＡＳＳは、ネットワーク２を介して通信装置３７に送信される。

遠隔支援を行うオペレータは、点灯部の指示内容が「通行許可」に該当することを認識してもよい。この場合、オペレータは、入力装置４４を操作して、通行許可信号ＳＴＡを入力してもよい。通行許可信号ＳＴＡが入力された場合、情報処理装置４２は、この通行許可信号ＳＴＡを支援情報ＡＳＳに追加する。

ステップＳ３３に続いて、オペレータによる操作終了入力があるか否かが判定される（ステップＳ３４）。遠隔支援を行うオペレータは、表示装置４３に表示された撮像画像情報に基づいて、自動運転車両３の発進を認識し、または、自動運転車両３の区間ＯＡＳの通過を確認する。或いは、遠隔支援を行うオペレータは、支援要求信号ＲＥＱの受信が終了したことを認識する。何れかの場合、オペレータは、入力装置４４を操作して、支援要求信号ＲＥＱに応答した遠隔支援を終了する指令を入力する。ステップＳ３４の処理は、肯定的な判定結果が得られるまで繰り返し実行される。

４．効果
以上説明した本実施の形態に係る遠隔支援システムによれば、信号機ＴＳ等の認識の精度が低い場合であっても、支援要求信号ＲＥＱに応答して位置情報ＰＰＳを含む支援情報ＡＳＳが遠隔施設４から自動運転車両３に提供される。そのため、信号機ＴＳ等の認識の精度が低い状況を改善することが可能となる。そのため、信号機ＴＳが示すリアルタイム情報を自動運転車両３において認識して、通行許可条件の判定を行うことが可能となる。よって、区間ＯＡＳを自動通過する際の安全性を高めることが可能となる。

１ 遠隔支援システム
２ ネットワーク
３ 自動運転車両
４ 遠隔施設
３７ 通信装置
３８ 制御装置
４１ 通信装置
４２ 情報処理装置
４３ 表示装置
４４ 入力装置
ＤＲ 着目領域
Ｌ１，Ｌ２ 車線
ＴＳ 信号機
ＡＳＳ 支援情報
ＩＰＳ 走行不可能区間
ＯＡＳ 片側交互通行区間
ＰＰＳ 位置情報
ＲＥＦ 参照画像情報
ＲＥＱ 支援要求信号
ＳＴＡ 通行許可信号

Claims (4)

1. 自動走行を行う車両と、前記車両と通信を行う遠隔施設と、を備える車両の遠隔支援システムであって、
   前記車両は、前記車両の前方の撮像画像情報を含む運転環境情報に基づいて前記車両の自動運転制御を行う制御装置を備え、
   前記遠隔施設は、オペレータにより操作される入力装置と、前記撮像画像情報が表示される表示装置と、前記入力装置が受け付けた入力情報を処理する入力情報処理、及び前記表示装置の表示制御処理を行う情報処理装置と、を備え、
   前記制御装置は、前記自動運転制御において、
   前記運転環境情報に基づいて、前記車両の前方の信号機の指示内容に従った前記車両の通行許可条件が満たされるか否かを判定し、
   前記通行許可条件が満たされないと判定された場合、前記信号機の手前において前記車両を一時停止させ、
   前記オペレータによる支援を要求する支援要求信号を前記遠隔施設に送信し、
   前記情報処理装置は、
   前記支援要求信号を受信した場合、前記表示制御処理において、前記車両の一時停止中の前記撮像画像情報を示す参照画像情報を表示するための処理を行い、
   前記参照画像情報に含まれる信号機を構成するピクセルの位置情報を前記入力情報として受け付けた場合、前記入力情報処理において、前記位置情報を含む支援情報を前記車両に送信し、
   前記制御装置は、前記自動運転制御において、更に、
   前記支援情報を受信した場合、前記位置情報に基づいて、前記通行許可条件が満たされるか否かを再度判定し、
   前記通行許可条件が満たされると判定された場合、前記車両の一時停止状態を解除して、前記信号機の指示内容に従って走行するための車両制御を行う
   ことを特徴とする車両の遠隔支援システム。
2. 請求項１に記載の遠隔支援システムであって、
   前記情報処理装置は、前記車両の通行許可信号を前記入力情報として受け付けた場合、前記入力情報処理において、前記通行許可信号を含む前記支援情報を前記車両に送信し、
   前記制御装置は、前記自動運転制御において、更に、
   前記通行許可信号の受信後において前記通行許可条件が満たされると判定された場合、前記一時停止状態を解除して前記車両制御を行う
   ことを特徴とする車両の遠隔支援システム。
3. 車両の自動走行を遠隔支援する車両の遠隔支援方法であって、
   前記車両の制御装置が、前記車両の前方の撮像画像情報を含む運転環境情報に基づいて前記車両の自動運転制御を行い、
   前記車両と通信を行う遠隔施設の情報処理装置が、オペレータにより操作される入力装置が受け付けた入力情報を処理する入力情報処理と、前記撮像画像情報が表示される表示装置の表示制御処理と、を行い、
   前記制御装置は、前記自動運転制御において、
   前記運転環境情報に基づいて、前記車両の前方の信号機の指示内容に従った前記車両の通行許可条件が満たされるか否かを判定し、
   前記通行許可条件が満たされないと判定された場合、前記信号機の手前において前記車両を一時停止させ、
   前記オペレータによる支援を要求する支援要求信号を前記遠隔施設に送信し、
   前記情報処理装置は、
   前記支援要求信号を受信した場合、前記表示制御処理において、前記車両の一時停止中の前記撮像画像情報を示す参照画像情報を表示するための処理を行い、
   前記参照画像情報に含まれる信号機を構成するピクセルの位置情報を前記入力情報として受け付けた場合、前記入力情報処理において、前記位置情報を含む支援情報を前記車両に送信し、
   前記制御装置は、前記自動運転制御において、更に、
   前記支援情報を受信した場合、前記位置情報に基づいて、前記通行許可条件が満たされるか否かを再度判定し、
   前記通行許可条件が満たされると判定された場合、前記車両の一時停止状態を解除して、前記信号機の指示内容に従って走行するための車両制御を行う
   ことを特徴とする車両の遠隔支援方法。
4. 請求項３に記載の遠隔支援方法であって、
   前記情報処理装置は、前記車両の通行許可信号を前記入力情報として受け付けた場合、前記入力情報処理において、前記通行許可信号を含む前記支援情報を前記車両に送信し、
   前記制御装置は、前記自動運転制御において、更に、
   前記通行許可信号の受信後において前記通行許可条件が満たされると判定された場合、前記一時停止状態を解除して前記車両制御を行う
   ことを特徴とする車両の遠隔支援方法。

Images