JP7124700B2 - 移動体制御装置、移動体制御方法、及び、移動体 - Google Patents

Description

本技術は、移動体制御装置、移動体制御方法、及び、移動体に関し、特に、自動運転又は半自動運転を行う場合に用いて好適な移動体制御装置、移動体制御方法、及び、移動体に関する。

従来、自動運転で隊列走行可能な車両の運行支援を行うシステムが提案されている（例えば、特許文献１参照）。

特開２０００－２８５３６３号公報

しかしながら、特許文献１に記載の発明は、隊列走行が可能な車両が対象であり、しかも管制制御システム、専用路、押しボタン装置を有する乗降場等のインフラストラクチャの整備が必要である。従って、バスやタクシー等の車両を含む移動体が単独で自動運転又は半自動運転を行う場合は検討されていない。

本技術はこのような状況に鑑みてなされたものであり、移動体に乗る人又はその候補者、及び、移動体から降りる人又はその候補者に応じて、移動体の運転を適切に行うことができるようにするものである。

本技術の第１の側面の移動体制御装置は、移動体の周囲を撮像した画像である移動体外画像に基づいて、前記移動体の停止候補地点を検出し、前記停止候補地点の近傍領域を対象として、前記移動体への乗車候補者の認識を行う監視部と、前記乗車候補者の認識に基づいて、前記移動体の加減速制御を行う運転制御部とを備える。
前記監視部には、さらに前記移動体内を撮像した画像である移動体内画像に基づいて、前記移動体からの降車候補者の認識を行わせ、前記運転制御部には、さらに前記降車候補者の認識に基づいて、前記移動体の加減速制御を行わせることができる。

前記運転制御部には、前記乗車候補者の認識及び前記降車候補者の認識のうち少なくとも一方に基づいて、前記移動体の停止制御を行わせることができる。

前記運転制御部には、前記乗車候補者の前記移動体への搭乗の認識、及び、前記降車候補者の前記移動体からの降車の認識のうち少なくとも一方に基づいて、前記移動体の発進制御を行わせることができる。

前記監視部には、事前に取得した前記乗車候補者又は前記降車候補者の顔画像又は顔の特徴量を示すデータを用いた顔認証に基づいて、前記乗車候補者又は前記降車候補者の認識を行わせることができる。
前記乗車候補者または降車候補者の認識を行うための撮像部を、前記移動体における異なる方向または異なる位置に複数設け、前記移動体の移動時と停止時とで、前記乗車候補者又は前記降車候補者の認識処理に用いる前記撮像部を変更させることができる。
前記監視部には、前記移動体内画像における、前記移動体の搭乗者の位置及び行動のうち少なくとも１つに基づいて、前記降車候補者の認識を行わせることができる。
前記監視部には、前記停止候補地点における所定の基準位置に基づいて、前記乗車候補者の認識を優先的に行う優先認識領域を設定させることができる。

前記基準位置は、前記停止候補地点を示す標識、前記停止候補地点における所定の構造物、及び、前記停止候補地点における所定の搭乗位置のうち少なくとも１つとすることができる。

前記監視部には、さらに前記停止候補地点の構成及び前記停止候補地点の周囲の状況のうち少なくとも１つに基づいて、前記優先認識領域を設定させることができる。

前記監視部には、前記停止候補地点の周囲の状況に応じて、前記基準位置を変更させることができる。

前記監視部には、前記移動体に対する所定の方向における所定の領域を前記近傍領域に設定させることができる。

前記監視部には、前記移動体外画像により認識される人の顔、視線の向き、位置、及び、行動のうち少なくとも１つに基づいて、前記乗車候補者の認識を行わせることができる。

前記監視部には、さらに前記移動体の外部の撮像装置による撮像画像に基づいて、前記乗車候補者の認識を行わせることができる。

前記乗車候補者の認識結果の通知を制御するユーザインタフェース制御部をさらに設けることができる。

前記ユーザインタフェース制御部には、前記移動体が備える撮像部による撮像画像に、前記乗車候補者の認識結果を示す情報を重畳して表示させることができる。

前記ユーザインタフェース制御部には、前記乗車候補者の認識結果を示す情報を、前記移動体の搭乗者における視界に対して重畳して表示させることができる。

本技術の第１の側面の移動体制御方法は、移動体制御装置が、移動体の周囲を撮像した画像である移動体外画像に基づいて、前記移動体の停止候補地点を検出し、前記停止候補地点の近傍領域を対象として、前記移動体への乗車候補者の認識を行う監視ステップと、前記乗車候補者の認識に基づいて、前記移動体の加減速制御を行う運転制御ステップとを含む。

本技術の第２の側面の移動体は、周囲を撮像した画像である移動体外画像に基づいて、停止候補地点を検出し、前記停止候補地点の近傍領域を対象として、乗車候補者の認識を行う監視部と、前記乗車候補者の認識に基づいて、加減速制御を行う運転制御部とを備える。

本技術の第１の側面又は第２の側面においては、周囲を撮像した画像である移動体外画像に基づいて、停止候補地点が検出され、前記停止候補地点の近傍領域を対象として、乗車候補者の認識が行われ、前記乗車候補者の認識に基づいて、加減速制御が行われる。

本技術によれば、移動体に乗る人又はその候補者、及び、移動体から降りる人又はその候補者に応じて、移動体の運転を適切に行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した車両の一実施の形態の構成例を示す図である。 車両の各部の接続状態の例を示す図である。 合成画像の生成方法について説明するための図である。 車両制御部の機能の構成例の一部を示す図である。 バスにおけるカメラの配置例を示す図である。 自動停発車処理の第１の実施の形態を説明するためのフローチャートである。 自動停発車処理の第１の実施の形態を説明するためのフローチャートである。 停留所の類型を示す図である。 待合室が設置されている停留所の例を示す図である。 複数の標識が設置されている停留所の例を示す図である。 優先認識領域の第１の例を示す図である。 優先認識領域の第２の例を示す図である。 優先認識領域の第３の例を示す図である。 優先認識領域の第４の例を示す図である。 優先認識領域の第５の例を示す図である。 乗車候補者の認識処理の第１の例について説明するための図である。 乗車候補者の認識処理の第２の例について説明するための図である。 乗車候補者の認識処理に用いる画像の切り替え方法の例について説明するための図である。 自動停発車処理の第２の実施の形態を説明するためのフローチャートである。 自動停発車処理の第３の実施の形態を説明するためのフローチャートである。 アシスト画面の第１の例を示す図である。 アシスト画面の第２の例を示す図である。 アシスト画面の第３の例を示す図である。 アシスト画面の第４の例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両の基本的な構成例
２．第１の実施の形態（自動運転を行うバスに適用した例）
３．第２の実施の形態（自動運転を行うタクシーに適用した第１の例）
４．第３の実施の形態（自動運転を行うタクシーに適用した第２の例）
５．第４の実施の形態（半自動運転を行う車両のユーザインタフェースに適用した例）
６．変形例
７．その他

＜＜１．車両の基本的な構成例＞＞
図１は、本技術を適用した車両の基本的な構成例を示す図である。

図１に示す車両１１は、フロントセンシングカメラ２１、フロントカメラECU（Electronic Control Unit）２２、位置情報取得部２３、表示部２４、通信部２５、ステアリング機構２６、レーダ２７、ライダ２８、サイドビューカメラ２９、サイドビューカメラECU３０、統合ECU３１、フロントビューカメラ３２、フロントビューカメラECU３３、制動装置３４、エンジン３５、発電機３６、駆動用モータ３７、バッテリ３８、リアビューカメラ３９、リアビューカメラECU４０、車速検出部４１、車内カメラ４２、および車内カメラECU４３を有している。

車両１１に設けられた各ユニットは、CAN（Controller Area Network）通信用のバスや他の接続線などにより相互に接続されているが、ここでは図を見やすくするため、それらのバスや接続線が特に区別されずに描かれている。

フロントセンシングカメラ２１は、例えば車室内のルームミラー近傍に配置されたセンシング専用のカメラからなり、車両１１の前方を被写体として撮像し、その結果得られたセンシング画像をフロントカメラECU２２に出力する。

フロントカメラECU２２は、フロントセンシングカメラ２１から供給されたセンシング画像に対して適宜、画質を向上させる処理等を施した後、センシング画像に対して画像認識を行って、センシング画像から白線や歩行者などの任意の物体を検出する。フロントカメラECU２２は、画像認識の結果をCAN通信用のバスに出力する。

位置情報取得部２３は、例えばGPS（Global Positioning System）などの位置情報計測システムからなり、車両１１の位置を検出して、その検出結果を示す位置情報をCAN通信用のバスに出力する。

表示部２４は、例えば液晶表示パネルなどからなり、インストルメントパネルの中央部分、ルームミラー内部などの車室内の所定位置に配置されている。また、表示部２４はウィンドシールド（フロントガラス）部分に重畳して設けられた透過型ディスプレイであってもよいし、カーナビゲーションシステムのディスプレイであってもよい。表示部２４は、統合ECU３１の制御に従って各種の画像を表示する。

通信部２５は、車車間通信や車歩間通信、路車間通信等の各種の無線通信により、周辺車両や、歩行者が所持する携帯型端末装置、路側機、外部のサーバ等との間で情報の送受信を行う。例えば通信部２５は周辺車両と車車間通信を行って、周辺車両から乗員数や走行状態を示す情報を含む周辺車両情報を受信し、統合ECU３１に供給する。

ステアリング機構２６は、運転者によるハンドル操作、または統合ECU３１から供給された制御信号に応じて車両１１の走行方向の制御、すなわち舵角制御を行う。レーダ２７は、ミリ波等の電磁波を用いて前方や後方などの各方向にある車両や歩行者といった対象物までの距離を測定する測距センサであり、対象物までの距離の測定結果を統合ECU３１等に出力する。ライダ２８は、光波を用いて前方や後方などの各方向にある車両や歩行者といった対象物までの距離を測定する測距センサであり、対象物までの距離の測定結果を統合ECU３１等に出力する。

サイドビューカメラ２９は、例えばサイドミラーの筐体内やサイドミラー近傍に配置されたカメラであり、運転者の死角となる領域を含む車両１１の側方の画像（以下、側方画像とも称する）を撮像し、サイドビューカメラECU３０に供給する。

サイドビューカメラECU３０は、サイドビューカメラ２９から供給された側方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた側方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。

統合ECU３１は、運転制御ECU５１やバッテリECU５２などの車両１１の中央に配置された複数のECUからなり、車両１１全体の動作を制御する。

例えば運転制御ECU５１は、ADAS（Advanced Driving Assistant System）機能や自動運転（Self driving）機能を実現するECUであり、フロントカメラECU２２からの画像認識結果、位置情報取得部２３からの位置情報、通信部２５から供給された周辺車両情報等の各種の情報、レーダ２７やライダ２８からの測定結果、車速検出部４１からの車速の検出結果などに基づいて、車両１１の運転（走行）を制御する。すなわち、運転制御ECU５１は、ステアリング機構２６や、制動装置３４、エンジン３５、駆動用モータ３７等を制御して車両１１の運転を制御する。

なお、統合ECU３１では、ADAS機能や自動運転機能などの機能ごとに専用のECUを設けるようにしてもよい。

また、バッテリECU５２は、バッテリ３８による電力の供給等を制御する。

フロントビューカメラ３２は、例えばフロントグリル近傍に配置されたカメラからなり、運転者の死角となる領域を含む車両１１の前方の画像（以下、前方画像とも称する）を撮像し、フロントビューカメラECU３３に供給する。

フロントビューカメラECU３３は、フロントビューカメラ３２から供給された前方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた前方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。

制動装置３４は、運転者によるブレーキ操作、または統合ECU３１から供給された制御信号に応じて動作し、車両１１を停車させたり減速させたりする。エンジン３５は、車両１１の動力源であり、統合ECU３１から供給された制御信号に応じて駆動する。

発電機３６は、統合ECU３１により制御され、エンジン３５の駆動に応じて発電する。駆動用モータ３７は、車両１１の動力源であり、発電機３６やバッテリ３８から電力の供給を受け、統合ECU３１から供給された制御信号に応じて駆動する。なお、車両１１の走行時にエンジン３５を駆動させるか、または駆動用モータ３７を駆動させるかは、適宜、統合ECU３１により切り替えられる。

バッテリ３８は、例えば12Vのバッテリや200Vのバッテリなどを有しており、バッテリECU５２の制御に従って車両１１の各部に電力を供給する。

リアビューカメラ３９は、例えばテールゲートのナンバープレート近傍に配置されるカメラからなり、運転者の死角となる領域を含む車両１１の後方の画像（以下、後方画像とも称する）を撮像し、リアビューカメラECU４０に供給する。例えばリアビューカメラ３９は、図示せぬシフトレバーがリバース（Ｒ）の位置に移動されると起動される。

リアビューカメラECU４０は、リアビューカメラ３９から供給された後方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた後方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。

車速検出部４１は、車両１１の車速を検出するセンサであり、車速の検出結果を統合ECU３１に供給する。なお、車速検出部４１において、車速の検出結果から加速度や加速度の微分が算出されるようにしてもよい。例えば算出された加速度は、車両１１の物体との衝突までの時間の推定などに用いられる。

車内カメラ４２は、例えば、車両１１の車室内に配置されるカメラからなり、車両１１の車室内の画像（以下、車内画像とも称する）を撮像し、車内カメラECU４３に供給する。

車内カメラECU４３は、車内カメラ４２から供給された車内画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた車内画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。

なお、以下、センシング画像、側方画像、前方画像、後方画像等の車両１１の外部を撮像した画像を、車内画像に対して車外画像とも称する。

また、車両１１では、図２に示すようにフロントカメラモジュール７１、通信部２５、運転制御ECU５１、ステアリング機構２６、制動装置３４、エンジン３５、および駆動用モータ３７を含む複数のユニットがCAN通信用のバス７２により相互に接続されている。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

この例では、フロントカメラモジュール７１はレンズ８１、イメージセンサ８２、フロントカメラECU２２、およびMCU（Module Control Unit）８３を有している。

また、レンズ８１およびイメージセンサ８２によってフロントセンシングカメラ２１が構成されており、イメージセンサ８２は例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。

フロントカメラモジュール７１では、被写体からの光がレンズ８１によってイメージセンサ８２の撮像面上に集光される。イメージセンサ８２は、レンズ８１から入射した光を光電変換することでセンシング画像を撮像し、フロントカメラECU２２に供給する。

フロントカメラECU２２は、イメージセンサ８２から供給されたセンシング画像に対して、例えばゲイン調整やホワイトバランス調整、HDR（High Dynamic Range）処理などを施した後、センシング画像に対して画像認識を行う。

画像認識では、例えば白線や縁石、歩行者、車両、ヘッドライト、ブレーキライト、道路標識、前方車両との衝突時間などの認識（検出）が行われる。これらの画像認識の認識結果は、MCU８３でCAN通信用の形式の信号に変換され、バス７２へと出力される。

また、バス７２から供給された情報は、MCU８３でフロントカメラモジュール７１用に定められた形式の信号に変換され、フロントカメラECU２２へと供給される。

運転制御ECU５１は、MCU８３からバス７２に出力された画像認識の結果と、レーダ２７やライダ２８等の他のユニットから供給された情報とに基づいて、適宜、ステアリング機構２６や制動装置３４、エンジン３５、駆動用モータ３７、図示せぬヘッドライトなどを制御する。これにより走行方向の変更、ブレーキ、加速、発進等の運転制御や、警告通知制御、ヘッドライトの切り替え制御などが実現される。

また、運転制御ECU５１が自動運転機能等を実現する場合には、例えばフロントカメラECU２２で得られた各時刻の画像認識結果から、運転制御ECU５１において、さらに対象物体の位置の軌跡が認識され、その認識結果が通信部２５を介して外部のサーバに送信されるようにしてもよい。そのような場合、例えばサーバではディープニューラルネット等の学習が行われて必要な辞書等が生成され、車両１１へと送信される。車両１１では、このようにして得られた辞書等が通信部２５により受信され、受信された辞書等が運転制御ECU５１での各種の予測などに用いられる。

なお、運転制御ECU５１により行われる制御のうち、センシング画像に対する画像認識の結果のみから実現できる制御については、運転制御ECU５１ではなくフロントカメラECU２２により行われるようにしてもよい。

さらに、車両１１では、例えば駐車時などにおいて表示部２４に合成画像を表示することでアラウンドビューモニタ機能が実現される。

すなわち、例えば図３に示すように各部で得られた前方画像、後方画像、および側方画像がCAN通信用のバスとは異なるケーブルを介して、統合ECU３１に設けられた画像合成ECU１０１に供給され、それらの画像から合成画像が生成される。なお、図３において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図３では、図１に示したサイドビューカメラ２９として、車両１１の左側に配置されたサイドビューカメラ２９Ｌと、車両１１の右側に配置されたサイドビューカメラ２９Ｒとが設けられている。また、サイドビューカメラECU３０として、車両１１の左側に配置されたサイドビューカメラECU３０Ｌと、車両１１の右側に配置されたサイドビューカメラECU３０Ｒとが設けられている。

画像合成ECU１０１には、フロントビューカメラ３２で得られた前方画像がフロントビューカメラECU３３から供給され、リアビューカメラ３９で得られた後方画像がリアビューカメラECU４０から供給される。また、画像合成ECU１０１には、サイドビューカメラ２９Ｌで得られた側方画像（以下、特に左側方画像とも称する）がサイドビューカメラECU３０Ｌから供給され、サイドビューカメラ２９Ｒで得られた側方画像（以下、特に右側方画像とも称する）がサイドビューカメラECU３０Ｒから供給される。

画像合成ECU１０１は、供給されたこれらの画像に基づいて前方画像、後方画像、左側方画像、および右側方画像を対応する領域に配置した合成画像を生成するとともに、得られた合成画像を表示部２４に供給し、表示させる。運転者は、このようにして表示された合成画像を確認しながら車両１１を運転することで、安全かつ容易に駐車を行うことができる。なお、統合ECU３１が合成画像に基づいて車両１１の駆動を制御し、駐車を行うようにしてもよい。

なお、サイドビューカメラECU３０、フロントビューカメラECU３３、及び、リアビューカメラECU４０が、フロントカメラECU２２と同様に、側方画像、前方画像、又は、後方画像から白線や歩行者などの車外の任意の物体の検出を行うようにしてもよい。また、車内カメラECU４３が、車内画像から搭乗者などの車内の任意の物体の検出を行うようにしてもよい。

また、以上に示した車両１１に設けられるカメラの数や配置は、その一例であり、車両１１の大きさや形状等により適宜変更される。

図４は、車両１１の車両制御部１５１の機能の構成例の一部を示している。車両制御部１５１は、例えば、フロントカメラECU２２、サイドビューカメラECU３０、統合ECU３１、フロントビューカメラECU３３、リアビューカメラECU４０、車内カメラECU４３等により実現される。車両制御部１５１は、監視部１６１、状況認識部１６２、運転制御部１６３、停車位置設定部１６４、撮像制御部１６５、及び、UI（ユーザインタフェース）制御部１６６を備える。

監視部１６１は、車両１１の周囲及び内部の監視を行う。監視部１６１は、車外監視部１７１及び車内監視部１７２を備える。

車外監視部１７１は、車外画像、位置情報取得部２３からの位置情報、通信部２５を介して外部から取得した各種の情報、レーダ２７からの測定結果、ライダ２８からの測定結果、車両１１に設けられている図示せぬ各種のセンサの検出結果等に基づいて、車両１１の外部の監視を行う。例えば、車外監視部１７１は、他の車両、人、白線等の車両１１の周囲の任意の物体の検出を行う。また、例えば、車両１１がバスやタクシー等の乗客を乗せる車両である場合、車外監視部１７１は、車両１１に乗ると予測される乗車候補者の認識処理を行う。

車内監視部１７２は、車内画像、車両１１に設けられている図示せぬ各種のセンサの検出結果等に基づいて、車両１１の内部の監視を行う。例えば、車内監視部１７２は、車内の搭乗者等の任意の物体の検出を行う。また、例えば、車両１１がバスやタクシー等の乗客を乗せる車両である場合、車内監視部１７２は、車両１１から降りると予測される降車候補者の認識処理を行う。

状況認識部１６２は、位置情報取得部２３からの位置情報、通信部２５を介して外部から取得した情報、監視部１６１からの監視結果、車両１１に設けられている図示せぬ各種のセンサの検出結果等に基づいて、車両１１が置かれている状況の認識を行う。状況認識部１６２により認識される状況には、例えば、現在位置、現在時刻、天候、気温、風速、周囲の明るさ、路面の状態、時刻等が含まれる。

運転制御部１６３は、通信部２５を介して外部から取得した情報、車速検出部４１からの車速の検出結果、監視部１６１からの監視結果、状況認識部１６２からの状況認識結果、運転者による操作等に基づいて、車両１１の運転の制御を行う。例えば、運転制御部１６３は、車両１１の発進制御、停止制御、加減速制御、ブレーキ制御、方向制御等を行う。

また、例えば、運転制御部１６３は、車両１１の自動運転又は半自動運転の制御を行う。ここで、自動運転とは、車両１１の運転の全てを自動化し、運転者の操作なしに車両１１が自律的に移動することである。半自動運転とは、車両１１の運転の一部を自動化することである。半自動運転の自動化の範囲は、例えば、ほぼ運転者が運転を行い、ブレーキ制御等の一部の機能のみを自動化し、運転者を支援するものから、車両１１がほぼ自律的に運転を行い、運転者が補助的に一部の操作を行うものまで様々である。さらに、例えば、運転制御部１６３は、車両１１が決められたルートやスケジュールで走行するための制御、及び、決められた目的地に到達するための制御を行う。

また、例えば、運転制御部１６３は、車両１１のドアや窓の開閉制御、ドアロックの開閉制御、ヘッドライトの点灯制御、車体の傾斜制御、電源制御等を行う。

停車位置設定部１６４は、監視部１６１からの監視結果、状況認識部１６２からの状況認識結果等に基づいて、車両１１の停車位置を設定する。

撮像制御部１６５は、監視部１６１からの監視結果、状況認識部１６２からの状況認識結果、運転制御部１６３からの運転制御情報等に基づいて、フロントセンシングカメラ２１、サイドビューカメラ２９、フロントビューカメラ３２、リアビューカメラ３９、車内カメラ４２の撮像の制御を行う。

UI制御部１６６は、監視部１６１からの監視結果、状況認識部１６２からの状況認識結果、運転制御部１６３からの運転制御情報等に基づいて、表示部２４、及び、図示せぬ音声出力部等を制御して、運転者等の搭乗者に対するユーザインタフェースを制御する。

＜＜２．第１の実施の形態＞＞
次に、図５乃至図１８を参照して、本技術の第１の実施の形態について説明する。本技術の第１の実施の形態は、車両１１が自動運転を行うバスにより構成される場合の実施の形態である。

＜２－１．カメラの配置例＞
図５は、図１の車両１１としてのバス２０１におけるカメラの配置例を模式的に示している。

バス２０１には、撮像部としてカメラ２２１Ｆ１乃至カメラ２２１Ｂが配置されている。カメラ２２１Ｆ１乃至カメラ２２１Ｂは、そのいずれかが２以上のカメラで構成されるステレオカメラであって、当該２以上のカメラの視差により撮像された被写体の距離を測定できるものであってもよい。またカメラ２２１Ｆ１乃至カメラ２２１Ｂは、そのいずれかが視野角１２０度以上、特に好ましくは視野角１８０度以上の広角カメラで構成されていてもよい。

カメラ２２１Ｆ１及びカメラ２２１Ｆ２は、図１のフロントセンシングカメラ２１又はフロントビューカメラ３２に対応する。カメラ２２１Ｆ１は、例えば、バス２０１のルームミラー（不図示）の近傍であって、ウィンドシールド２１１の左右方向の中央、かつ、上下方向の上端付近に配置され、主にバス２０１の前方の撮像に用いられる。カメラ２２１Ｆ２は、例えば、バス２０１のダッシュボード（不図示）の上であって、ウィンドシールド２１１の左右方向の中央、かつ、上下方向の下端付近に配置され、主にバス２０１の前方の撮像に用いられる。なお、カメラ２２１Ｆ１は、バス２０１の前方のうち、カメラ２２１Ｆ２より遠い位置の撮像に用いられ、カメラ２２１Ｆ２は、バス２０１の前方のうち、カメラ２２１Ｆ１より近い位置の撮像に用いられる。

カメラ２２１Ｌ１乃至カメラ２２１Ｌ４は、図３のサイドビューカメラ２９Ｌに対応し、カメラ２２１Ｒは、図３のサイドビューカメラ２９Ｒに対応する。カメラ２２１Ｌ１は例えば、バス２０１の左のサイドミラー２１２Ｌ近傍に配置され、主にバス２０１の左側方の撮像に用いられる。カメラ２２１Ｌ２は、例えば、バス２０１の乗車ドア２１３付近に配置され、主に乗車ドア２１３付近の撮像に用いられる。カメラ２２１Ｌ３は、例えば、バス２０１の降車ドア２１４付近に配置され、主に降車ドア２１４付近の撮像に用いられる。カメラ２２１Ｌ４は、例えば、バス２０１の左側面の後端付近に配置され、主にバス２０１の左側方の撮像に用いられる。なお、カメラ２２１Ｌ１は、バス２０１の左側方のうち、カメラ２２１Ｌ４より前方の撮像に用いられ、カメラ２２１Ｌ４は、バス２０１の左側方のうち、カメラ２２１Ｌ４より後方の撮像に用いられる。カメラ２２１Ｒは、例えば、バス２０１の右のサイドミラー２１２Ｒ近傍に配置され、主にバス２０１の右側方の撮像に用いられる。

カメラ２２１Ｂは、図１のリアビューカメラ３９に対応する。カメラ２２１Ｂは、例えば、バス２０１の背面の左右方向の中央、かつ、上下方向の上端付近に配置され、主にバス２０１の後方の撮像に用いられる。

カメラ２２１ＩＮは、図１の車内カメラ４２に対応する。カメラ２２１ＩＮは、例えば、バス２０１のルームミラー（不図示）の近傍に配置され、主に車内の撮像に用いられる。なお、バス２０１の車内に死角が生じないように、カメラ２２１ＩＮを車内に複数配置するようにしてもよい。

カメラ２２１Ｆ１、カメラ２２１Ｆ２、カメラ２２１Ｌ１乃至カメラ２２１Ｌ４、カメラ２２１Ｒ、及び、カメラ２２１Ｂにより撮像された画像（車外画像）は、白線や歩行者などの車外の任意の物体の検出に用いられる。カメラ２２１ＩＮにより撮像された画像（車内画像）は、車内の乗客等の任意の物体の検出に用いられる。

＜２－２．自動停発車処理＞
次に、図６及び図７のフローチャートを参照して、バス２０１により実行される自動停発車処理について説明する。なお、この処理は、例えば、バス２０１のＡＣＣ（アクセサリ）電源がオンされたとき開始され、ＡＣＣ電源がオフされたとき終了する。

ステップＳ１において、運転制御部１６３は、停車候補地点に接近したか否かを判定する。停車候補地点とは、例えば、次にバス２０１が停車する予定のバス停留所（以下、単に停留所と称する）のことである。

車両制御部１５１は、まず次の停留所までの距離を検出する。次の停留所までの距離の検出方法には、任意の方法を採用することができる。

例えば、状況認識部１６２は、位置情報取得部２３により検出された車両１１の現在位置、及び、予め保有している地図情報における次の停留所の位置に基づいて、次の停留所までの距離を検出する。

或いは、例えば、車外監視部１７１は、車外画像、並びに、レーダ２７及びライダ２８の検出結果に基づいて、バス２０１の進行方向にある停留所を検出し、さらに停留所までの距離を検出する。

或いは、例えば、状況認識部１６２は、通信部２５が次の停留所に備えられている通信装置から発せられる電波を受信した強度に基づいて、次の停留所までの距離を検出する。

或いは、例えば、状況認識部１６２は、通信部２５が次の停留所に備えられている通信装置から受信した、次の停留所の位置や次の停留所までの距離に関する情報に基づいて、次の停留所までの距離を検出する。

運転制御部１６３は、次の停留所までの距離が所定の閾値以上である場合、又は、次の停留所までの距離の検出に失敗した場合、停車候補地点に接近していないと判定する。この判定処理は、停車候補地点に接近したと判定されるまで、所定のタイミングで繰り返し実行される。そして、運転制御部１６３は、次の停留所までの距離が所定の閾値未満である場合、停車候補地点に接近したと判定し、処理はステップＳ２に進む。

ステップＳ２において、バス２０１は、運転制御部１６３の制御の下に、停車レーンに進入する。ここで、停車レーンとは、バス２０１が次の停留所で停車する車線のことである。例えば、バス専用レーンが設けられている場合、そのバス専用レーンが停車レーンとなる。一方、バス専用レーンが設けられていない場合、次の停留所の手前の車線、例えば左側走行の道路の場合、左端の車線が停車レーンとなる。

また、バス２０１は、運転制御部１６３の制御の下に、停車レーン内の停留所側の端部に移動する。さらに、UI制御部１６６は、図示せぬ音声出力装置等を制御して、次の停留場を案内するアナウンスを出力させる。

ステップＳ３において、車外監視部１７１は、停車基準位置を設定する。

具体的には、車外監視部１７１は、まず車外画像に基づいて、停留所の検出を行う。

図８及び図９は、停留所の類型を示している。

例えば、停留所の名前や時刻表等が示された標識のみが設置されている停留所がある。図８の標識３０１乃至標識３０３は、停留所の標識の一例である。この例に示されるように、標識の形状は様々である。

また、例えば、風、雨、日差し等を防ぐための屋根を備えるバスシェルタが設置されている停留所がある。図８のバスシェルタ３０４は、その一例である。バスシェルタの中には、壁面が設けられているものもある。また、バスシェルタとともに標識が設置されている停留所もある。或いは、バスシェルタに停留所の名前や時刻表等が示されており、標識が設置されていない停留所もある。

さらに、例えば、待合室が設置されている停留所がある。図９は、待合室が設置されている停留所の例を示している。この例では、歩道３１３の車道３１４側の端部に、標識３１１が設置されている。また、車道３１４と反対側において歩道３１３に面するように待合室３１２が設置されている。待合室３１２は、屋根と壁で囲まれており、出入りするためのドア３２１を備えている。

例えば、車外監視部１７１は、標識、バスシェルタ、待合室等の停留所に設置される設備の形状のパターンを予め保持しておき、そのパターンを用いたパターン認識により、車外画像内の停留所の検出を行う。或いは、例えば、車外監視部１７１は、標識、バスシェルタ等に示される標章（例えば、停留所やバス会社のマーク等）のパターンを予め保持しておき、そのパターンを用いたパターン認識により、車外画像内の停留所の検出を行う。或いは、例えば、車外監視部１７１は、文字認識等により次の停留所の名称を示す文字を車外画像の中から認識することにより、停留所の検出を行う。

また、複数の路線のバスが発着するバスターミナル等においては、路線毎にバスの停車位置が異なり、例えば、図１０に示されるように、複数の標識３３１乃至標識３３３が設置されている場合がある。この場合、車外監視部１７１は、標識３３１乃至標識３３３の中から、バス２０１の路線に対応する標識を認識する。例えば、車外監視部１７１は、予め設定されている情報（例えば、バスターミナルにおける標識の位置）に基づいて、バス２０１の路線に対応する標識を認識したり、文字認識等により、バス２０１の路線に対応する標識を認識したりする。

なお、停留所の検出方法は、上述した例に限定されるものではなく、任意の方法を採用することができる。例えば、バス２０１の位置情報と地図情報を補助的に用いて、停留所を検出するようにしてもよい。或いは、例えば、停留所に設置されている通信装置と通信を行うことにより、停留所を検出するようにしてもよい。

次に、車外監視部１７１は、停留所の検出結果に基づいて、停車基準位置を設定する。停車基準位置とは、バス２０１が次の停留所に停車する際の基準となる位置であり、後述するように、停車基準位置の周囲の人を対象に乗車候補者の認識処理が行われる。

例えば、停留所に標識が設置されている場合、標識の設置位置が停車基準位置に設定される。また、例えば、停留所にバスシェルタや待合室等のバスを待つ乗客のための構造物（以下、停留所構造物と称する）が設置されている場合、その停留所構造物を基準にして停車基準位置が設定される。例えば、バスシェルタが設置されている場合、バスシェルタの屋根の下の領域が停車基準位置に設定される。さらに、例えば、停留所に乗車位置（搭乗位置）が示されている場合、その乗車位置が停車基準位置に設定される。

なお、停留場が標識、停留所構造物、及び、乗車位置（の表示）のうち２つ以上を備える場合、例えば、そのうちの１つを基準にして停車基準位置を設定するようにしてもよいし、２つ以上の位置関係により停車基準位置を設定するようにしてもよい。そのうち１つを基準にして設定する場合には、標識、停留所構造物よりも乗車位置（の表示）を優先して設定してもよい。

ステップＳ４において、車外監視部１７１は、乗車候補者の認識処理を開始する。ここで、車外監視部１７１は、停車候補地点の近傍領域を対象として乗車候補者の認識処理を行う。例えば、車外監視部１７１は、ステップＳ３の処理で設定した停車基準位置を基準にして、バスを待つ乗客がいる可能性が高い領域を、乗車候補者の認識処理を優先的に行う領域（以下、優先認識領域と称する）に設定する。

図１１は、優先認識領域の１つの典型例を示している。この例では、歩道４０１と車道４０２の境界付近に停車基準位置Ｐａが設置されている。例えば、停車基準位置Ｐａは、停留所の標識（不図示）の設置位置とされる。なお、車道４０２には、車道外側線４０３及び車線境界線４０４が示されている。

例えば、停車基準位置Ｐａを中心とする所定の半径内の領域が、優先認識領域に設定される。このとき、段階的に複数の優先認識領域を設定することも可能である。図１１の例では、優先認識領域Ａ１ａ及び優先認識領域Ａ２ａの２段階の優先認識領域が設定されている。例えば、優先認識領域Ａ１ａは、停車基準位置Ｐａを中心とする半径ｒ１ａ内の円形の領域に設定される。優先認識領域Ａ２ａは、停車基準位置Ｐａを中心とする半径ｒ２ａ（＞半径ｒ１ａ）内の領域であって、優先認識領域Ａ１ａを除く円環型の領域に設定される。

乗車候補者の認識処理を行う優先順位は、優先認識領域Ａ１ａが最も高くなり、優先認識領域Ａ２ａが次に高くなり、優先認識領域Ａ２ａより外の領域が最も低くなる。例えば、認識処理に割り当てられるマシンパワーや時間等が、優先認識領域Ａ１ａ内で最も大きくなり、優先認識領域Ａ２ａ内で次に大きくなり、優先認識領域Ａ２ａの外で最も小さくなる。これにより、認識精度は、優先認識領域Ａ１ａ内で最も高くなり、優先認識領域Ａ２ａ内で次に高くなり、優先認識領域Ａ２ａの外で最も低くなる。

なお、優先認識領域Ａ１ｂより外の領域を、乗車候補者の認識処理の対象外としてもよい。すなわち、優先認識領域Ａ１ａ及び優先認識領域Ａ１ｂ内においてのみ、乗車候補者の認識処理を行うようにしてもよい。この場合、優先認識領域Ａ１ｂより外にいる人は、乗車候補者として認識されない。

また、例えば、乗車候補者であるか否かの判定にスコアを用いる場合、優先認識領域Ａ１ａ内にいる人に、優先認識領域Ａ１ｂ内にいる人よりも高いスコアを付与し、優先認識領域Ａ１ｂ内にいる人に、優先認識領域Ａ１ｂの外にいる人より高いスコアを付与するようにしてもよい。

なお、優先認識領域は、必ずしも同心円状に設定する必要はない。例えば、図１２に示されるように、外周が停車基準位置Ｐａを中心とする楕円形の優先認識領域Ａ１ｂ及び優先認識領域Ａ２ｂを設定するようにしてもよい。

また、乗客がバスを待つ位置は、停留場の構成、停留所の周囲の状況等により変化する。ここで、停留所の構成には、例えば、標識の有無及び位置、バスシェルタや待合室等の停留所構造物の有無、形状及び位置、並びに、バスの停止位置の表示の有無及び位置等が含まれる。停留所の周囲の状況には、例えば、停留所の周囲の道路の位置、構成及び付属物、停留所の周囲の建造物や移動体の位置、種類及び形状、並びに、天候等が含まれる。道路の構成には、例えば、歩道の有無や幅、路側帯の有無や幅、車線の幅、道路の区画線の数や位置等が含まれる。道路の付属物には、例えば、ガードレール、柵、縁石、道路標識等が含まれる。周囲の建造物には、例えば、ビル、家屋、壁、塀、駐車場等が含まれる。周囲の移動体には、例えば、駐車中の車両等が含まれる。

そこで、車外監視部１７１は、さらに停留場の構成、及び、停留所（停車基準位置）の周囲の状況等のうち少なくとも１つに基づいて、優先認識領域を設定するようにしてもよい。

例えば、図１３のＡに示される停留所においては、歩道４２２と車道４２３の境界付近に標識４２１が設置されている。車道４２３に面するように、歩道４２２の端部にガードレール４２６が設置されている。車道４２３には、車道外側線４２４及び車線境界線４２５が示されている。ビル４２７が、歩道４２２に面している。

この場合、図１３のＢに示されるように、標識４２１の位置が停車基準位置Ｐｃに設定される。また、基本的に、停車基準位置Ｐｃを中心とする半径ｒ１ｃの領域が優先認識領域Ａ１ｃに設定され、停車基準位置Ｐｃを中心とする半径ｒ２ｃ（＞半径ｒ１ｃ）の領域のうち優先認識領域Ａ１ｃの除く領域が優先認識領域Ａ２ｃに設定される。ただし、ガードレール４２６によりバスを待つ乗客が車道４２３に入る可能性が低いと想定されるため、車道４２３内の領域は優先認識領域から除外される。また、ビル４２７の敷地内の領域は、優先認識領域から除外される。

図１４は、歩道が設けられておらず、路側帯４４１に標識（不図示）が設置されている停留所における優先認識領域の例を示している。具体的には、車道外側線４４３により、路側帯４４１と車道４４２が分離されている。車道４４２には車線境界線４４４が示されている。塀４４５が路側帯４４１に面するように設置されている。路側帯４４１の塀４４５側の端部に標識（不図示）が設置されており、その位置に停車基準位置Ｐｄが設定されている。

この場合、例えば、基本的に、停車基準位置Ｐｄを中心とする半径ｒ１ｄの領域が優先認識領域Ａ１ｄに設定され、停車基準位置Ｐｄを中心とする半径ｒ２ｄ（＞半径ｒ１ｄ）の領域のうち優先認識領域Ａ１ｄを除く領域が優先認識領域Ａ２ｄに設定される。ただし、塀４４５の内側（路側帯４４１と反対側）は、優先認識領域から除外される。また、路側帯４４１が狭く、乗客が車道４４２内でバスを待つ可能性が高いため、車道４４２内の領域が優先認識領域から除外されずに含まれる。

図１５のＡに示される停留所においては、標識４６１及びバスシェルタ４６２が設置されている。具体的には、歩道４６３の車道４６４側の端部にバスシェルタ４６２が設置されている。バスシェルタ４６２の手前側の端部に、標識４６１が設置されている。車道４６４には、車道外側線４６５及び車線境界線４６６が示されている。ビル４６７が、歩道４６３に面している。

この場合、図１５のＢに示されるように、標識４６１の位置が停車基準位置Ｐｅに設定される。また、バスシェルタ４６２内の矩形の領域が、優先認識領域Ａ１ｅに設定される。さらに、優先認識領域Ａ１ｅを囲む矩形の枠状の領域が、優先認識領域Ａ２ｅに設定される。

この例では、歩道４６３の幅が広いため、優先認識領域Ａ２ｅは、歩道４６３のビル４６７側の端までは設定されない。また、ガードレール等が設けられておらず、バスを待つ乗客が車道４６４に入る可能性があるため、車道４６４内の領域が優先認識領域から除外されずに含まれる。

次に、車外監視部１７１は、車外画像に基づいて、顔認識等により、停留所付近の人の認識を行う。また、車外監視部１７１は、認識した人の位置、視線の向き、行動等の認識を行う。そして、車外監視部１７１は、停留所付近の人の位置、視線の向き、行動等の認識結果のうち少なくとも１つに基づいて、認識した人の中から乗車候補者を抽出する。

なお、車外監視部１７１の認識処理には、任意の手法を採用することができる。

ここで、図１６を参照して、乗車候補者の認識処理の具体例について説明する。

図１６は、図１３のＡに示される停留所付近の人の認識結果の例を示している。この例では、人５０１ａ乃至人５０１ｈが認識されている。なお、図内において、認識された人の顔を囲むように枠が示されている。

人５０１ａ乃至人５０１ｃは、優先認識領域Ａ１ｂ内において標識４２１の近くに立っている。人５０１ｄ及び人５０１ｅは、優先認識領域Ａ２ｃ内において停留所から離れる方向に歩いている。人５０１ｆは、優先認識領域Ａ２ｃ内において自転車に乗っている。人５０１ｇは、優先認識領域Ａ２ｃ外の歩道４２２を停留所に近づく方向に歩いている。人５０１ｈは、優先認識領域Ａ２ｃ外の車道４２３内において、バス２０１の方向を見て手を挙げている。

例えば、車外監視部１７１は、認識した人の中から、明らかにバスを待っていないと推定される人を除外する。例えば、停留所から遠ざかる方向に歩いている人５０１ｄ及び人５０１ｅ、並びに、自転車に乗っている人５０１ｆが除外される。

次に、車外監視部１７１は、残った人それぞれに対して、位置、視線の向き、行動等を基準とするスコアを付与する。例えば、優先認識領域Ａ１ｂ内にいる人に高いスコアが付与され、優先認識領域Ａ２ｂ内にいる人に次に高いスコアが付与される。また、例えば、停留所に向かって走っている人に高いスコアが付与され、停留所に向かって歩いている人に次に高いスコアが付与される。さらに、例えば、バス２０１の方向を見ている人に高いスコアが付与される。また、バス２０１の方に向かって手を挙げている人に高いスコアが付与される。

なお、例えば、車外監視部１７１は、状況認識部１６２により認識される停留所の周囲の状況に応じて、付与するスコアを変動させてもよい。例えば、バスシェルタを備える停留所では、日差しが強い時や、雨や雪等の悪天候の時は、それ以外の時と比較して、乗客がバスシェルタ内で待つ可能性が高くなると想定される。そこで、車外監視部１７１は、日差しが強い時や悪天候の時は、バスシェルタ内の人に付与するスコアを通常より上げたり、或いは、バスシェルタの外にいる人に付与するスコアを通常より下げたりしてもよい。

そして、車外監視部１７１は、スコアの合計が所定の閾値以上の人を乗車候補者として抽出する。例えば、図１６の例では、人５０１ａ乃至人５０１ｃ、及び、人５０１ｈが、乗車候補者として認識される。

なお、例えば、車外監視部１７１は、状況認識部１６２により認識される停留所の周囲の状況に応じて、乗車候補者を認識する基準を変更するようにしてもよい。例えば、車外監視部１７１は、乗車候補者の認識精度の低下が想定される状況において、通常より閾値を下げるようにしてもよい。すなわち、乗車候補者を認識する基準を下げるようにしてもよい。例えば、夜間で周囲が暗い場合、雨、霧、雪等で停留所の周囲の見通しが悪い場合、他の車両等の障害物により停留所の周囲の見通しが悪い場合に、車外監視部１７１は、通常より閾値を下げるようにしてもよい。

また、例えば、上述した図９の停留所のように待合室を備える停留所では、待合室の中がバス２０１から死角になり、待合室で待っている乗客を認識できないおそれがある。そこで、待合室にカメラを設け、そのカメラで撮像した画像を用いて、待合室内の乗車候補者の認識処理を行うようにしてもよい。

例えば、図１７は、図９の待合室３１２の室内を上から見た図を模式的に示している。待合室３１２のドア３２１側の壁３１２Ａのドア３２１と反対側の端部の天井付近に、室内全体を撮影できるようにカメラ５２１が設置されている。また、壁３１２Ａと対向する壁３１２Ｂ付近にベンチ５２２が置かれている。

例えば、バス２０１の通信部２５は、待合室３１２に接近すると、カメラ５２１と通信を行い、カメラ５２１が撮影した画像を取得する。そして、車外監視部１７１は、通信部２５を介して待合室３１２から受信した画像に基づいて、ベンチ５２２に座っている人５２３ａ及び人５２３ｂを乗車候補者として認識する。

さらに、車外監視部１７１は、全ての車外画像を用いて、乗車候補者の認識処理を行うようにしてもよいし、一部の車外画像を用いて、乗車候補者の認識処理を行うようにしてもよい。

また、車外監視部１７１は、バス２０１の停車前（移動時）と停車後（停止時）で、使用する車外画像を変更するようにしてもよい。例えば、図１８のＡに示されるように、バス２０１が、歩道５４２と車道５４３の境界に設定された停車基準位置５４１に接近している場合、車外監視部１７１は、カメラ２２１Ｆ１、カメラ２２１Ｆ２（不図示）、及び、カメラ２２１Ｌ１により撮像した画像を用いて、バス２０１の前方、並びに、左斜め前方向を対象に、乗車候補者の認識処理を行う。すなわち、バス２０１が停留所に接近しているときには、バス２０１の進行方向にある停留所付近を中心に乗車候補者の認識処理が行われる。

一方、図１８のＢに示されるように、バス２０１が停留所で停車した後は、車外監視部１７１は、さらにカメラ２２１Ｌ２乃至カメラ２２１Ｌ４、及び、カメラ２２１Ｂにより撮像した画像を追加して、バス２０１の左側方、及び、バス２０１の後方を、乗車候補者を認識する対象に追加する。すなわち、バス２０１の停車後は、バス２０１の周囲にいる乗車候補者をより確実に認識するとともに、バス２０１に乗り込む乗客、及び、バス２０１から降りる乗客を確実に認識できるように、認識対象とする領域が広げられる。

これにより、乗車候補者の認識処理を効率的に行うことができ、認識処理の負荷が軽減されるとともに、認識精度が向上する。

なお、この場合、撮像制御部１６５は、認識処理に用いる画像を撮像するカメラのみ撮像を行い、他のカメラの撮像を停止するように制御してもよい。すなわち、撮像制御部１６５は、バス２０１の停車前と停車後で、撮像を行うカメラを変更するようにしてもよい。これにより、消費電力を低減することができる。

また、例えば、バス２０１の停車前において、バス２０１と停留場の相対位置により、乗車候補者の認識処理に使用する車外画像を切り替えたり、撮像を行うカメラを切り替えたりするようにしてもよい。

図６に戻り、ステップＳ５において、状況認識部１６２は、定刻を過ぎているか否かを判定する。ここで、定刻とは、例えば、バス２０１の運行スケジュールにおいて、次の停留所を発車する予定の時刻のことである。定刻を過ぎていると判定された場合、処理はステップＳ６に進む。

ステップＳ６において、車内監視部１７２は、降りる乗客がいるか否かを判定する。例えば、車内監視部１７２は、バス２０１の中に設けられている降車ボタンが押下されている場合、降りる乗客がいると判定し、押下されていない場合、降りる乗客がいないと判定する。そして、降りる乗客がいないと判定された場合、処理はステップＳ７に進む。

なお、車内監視部１７２は、例えば、後述する降車候補者の認識処理を行い、その認識結果に基づいて、降りる乗客がいるか否かを判定するようにしてもよい。

ステップＳ７において、車外監視部１７１は、乗車候補者の認識処理の結果に基づいて、乗車候補者がいるか否かを判定する。乗車候補者がいないと判定された場合、処理はステップＳ８に進む。

ステップＳ８において、バス２０１は、運転制御部１６３の制御の下に、停車候補地点を通過する。すなわち、降りる乗客及び乗車候補者がおらず、かつ、定刻を過ぎている場合、バス２０１は、停車候補地点（次の停留所）で停車することなく通過する。

このとき、例えば、運転制御部１６３は、停留所付近においてバス２０１を徐行させる。また、UI制御部１６６は、図示せぬ音声出力装置等を制御して、停留所を通過する旨のアナウンスを出力させる。これにより、自分が降りる停留所への接近に気付いていないバス２０１内の乗客が、停留所への接近に気付きやすくなる。そして、例えば、その乗客が降車ボタンを押下した場合、後述するステップＳ６において降りる乗客がいると判定された場合と同様の処理が行われる。

また、停留所付近をバス２０１が徐行することにより、車外監視部１７１による乗車候補者の認識精度が向上する。さらに、例えば、停留所から少し離れた場所にいる乗客が、バス２０１の接近に気付いていない場合に、バス２０１の接近に気付きやすくなる。そして、その乗客が乗車するための行動を起こすことにより、車外監視部１７１により乗車候補者が新たに認識される場合がある。この時点で、乗車候補者の存在が認識された場合、例えば、後述するステップＳ７において乗車候補者がいると判定された場合と同様の処理が行われる。

一方、運転制御部１６３は、乗車候補者及び降りる乗客の存在が認識されずに、そのまま停留所を通過した場合、その後、通常の走行速度までバス２０１を加速する。

ステップＳ９において、車外監視部１７１は、乗車候補者の認識処理を停止する。このとき、撮像制御部１６５は、乗車候補者の認識処理以外の用途に用いられないカメラの撮像を停止するようにしてもよい。

その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。

一方、ステップＳ５において、定刻を過ぎていないと判定された場合、ステップＳ６において、降りる乗客がいると判定された場合、又は、ステップＳ７において、乗車候補者がいると判定された場合、処理はステップＳ１０に進む。

ステップＳ１０において、車両制御部１５１は、停車候補位置を設定する。例えば、車外監視部１７１は、車外画像に基づいて、停留所付近において、バスの停車位置の表示の検出処理を行う。例えば、バスの停車位置は、停留所の前の車線（停車レーン）の路面に、矩形の枠等で表示されている。そして、停車位置の表示が検出された場合、停車位置設定部１６４は、その停車位置を停車候補位置に設定する。

また、例えば、車外監視部１７１は、バスの停車位置の表示を検出できなかった場合、乗客の乗車位置の表示の検出を行う。そして、乗客の乗車位置の表示が検出された場合、停車位置設定部１６４は、その乗車位置付近にバス２０１の乗車ドア２１３が位置するように、停車候補位置を設定する。

さらに、例えば、停車位置設定部１６４は、バスの停車位置及び乗車位置の表示が検出されなかった場合、停車基準位置を基準にして停車候補位置を設定する。例えば、停車位置設定部１６４は、停車基準位置付近にバス２０１の乗車ドア２１３が位置するように、停車候補位置を設定する。

ステップＳ１１において、車外監視部１７１は、停車候補位置に停車可能であるか否かを判定する。例えば、車外監視部１７１は、車外画像に基づいて、停車候補位置付近の障害物の有無を検出する。ここで、障害物とは、バス２０１の停車を妨げるものであり、例えば、他の車両、人等が想定される。車外監視部１７１は、停車候補位置付近に障害物が検出されなかった場合、停車候補位置に停車可能であると判定し、処理はステップＳ１２に進む。

ステップＳ１２において、バス２０１は、停車候補位置に停車する。具体的には、停車位置設定部１６４は、現在の停車候補位置を停車位置に設定する。バス２０１は、運転制御部１６３の制御の下に、停車位置に近づくにつれて徐々に減速し、停車位置で停車する。また、バス２０１は、運転制御部１６３の制御の下に、乗車ドア２１３及び降車ドア２１４を開ける。なお、乗車候補者が認識されていない場合、必ずしも乗車ドア２１３を開ける必要はない。また、降りる人がいない場合、必ずしも降車ドア２１４を開ける必要はない。さらに、バス２０１が乗降支援のために車体を傾斜させることができる場合、運転制御部１６３は、バス２０１の車体を傾斜させる。また、UI制御部１６６は、図示せぬ音声出力装置等を制御して、停留所に停止した旨のアナウンスを出力させる。

その後、処理はステップＳ１４に進む。

一方、ステップＳ１１において、車外監視部１７１は、停車候補位置付近に障害物が検出された場合、停車候補位置に停車不可であると判定し、処理はステップＳ１３に進む。このとき、例えば、車外監視部１７１は、停車候補位置の周辺の車両や人等の移動体の動きを検出し、停車候補位置付近に移動体が進入する可能性がある場合、停車候補位置に停車不可であると判定するようにしてもよい。

ステップＳ１３において、バス２０１は、停車候補位置の近くに停車する。例えば、停車位置設定部１６４は、停車レーン内において、停車候補位置の近くで障害物を避けることが可能な場所を停車位置に設定する。バス２０１は、運転制御部１６３の制御の下に、停車位置に近づくにつれて徐々に減速し、停車位置で停車する。そして、ステップＳ１２の処理と同様に、運転制御部１６３は、乗車ドア２１３及び降車ドア２１４を開けたり、車体を傾斜させたりする。また、UI制御部１６６は、図示せぬ音声出力装置等を制御して、停留所に停止した旨のアナウンスを出力させる。

その後、処理はステップＳ１４に進む。

ステップＳ１４において、車内監視部１７２は、降車候補者の認識処理を開始する。具体的には、車内監視部１７２は、車内画像を用いて、車内の人（乗客）の認識を行う。また、車内監視部１７２は、認識した乗客の位置、行動等の認識等を行う。そして、車内監視部１７２は、認識した乗客の位置、行動等の認識結果のうち少なくとも１つに基づいて、認識した乗客の中から降車候補者を抽出する。例えば、車内監視部１７２は、座席から立ち上がった乗客、降車ドア２１４の方向に移動している乗客等を降車候補者として認識する。

なお、車内監視部１７２の認識処理には、任意の手法を採用することができる。

ステップＳ１５において、監視部１６１は、乗車候補者の乗車（搭乗）及び降車候補者の降車の認識処理を開始する。

例えば、車外監視部１７１は、各乗車候補者の顔画像又は顔の特徴量を記憶する。また、車外監視部１７１は、記憶した各乗車候補者の顔画像又は顔の特徴量、乗車ドア２１３付近のカメラ２２１Ｌ２の画像、及び、車内のカメラ２２１ＩＮの画像を用いて、バス２０１に新たに乗車した乗客の顔認証を行う。そして、車外監視部１７１は、新たに乗車した乗客の顔と類似する顔を持つ乗車候補者が存在する場合、その乗客を乗車候補者から削除する。

また、例えば、車内監視部１７２は、各降車候補者の顔画像又は顔の特徴量を記憶する。また、車内監視部１７２は、記憶した各降車候補者の顔画像又は顔の特徴量、降車ドア２１４付近のカメラ２２１Ｌ３の画像、及び、車内のカメラ２２１ＩＮの画像を用いて、バス２０１から降りた乗客の顔認証を行う。そして、車内監視部１７２は、降車した乗客の顔と類似する顔を持つ降車候補者が存在する場合、その乗客を降車候補者から削除する。

なお、車外監視部１７１は、乗車候補者の乗車の認識処理を開始した後、乗車候補者の認識処理を停止し、いったん乗車候補者を確定するようにしてもよい。

或いは、車外監視部１７１は、乗車候補者の乗車の認識処理を開始した後も、乗車候補者の認識処理を継続し、乗車候補者の更新を行うようにしてもよい。これにより、例えば、車外監視部１７１は、遅れてバス２０１の乗車ドア２１３に近づいて来る人を乗車候補者として新たに認識したり、誤認識した乗車候補者を削除したりすることができる。

同様に、車内監視部１７２は、降車候補者の降車の認識処理を開始した後、降車候補者の認識処理を停止し、いったん降車候補者を確定するようにしてもよい。

或いは、車内監視部１７２は、降車候補者の降車の認識処理を開始した後も、降車候補者の認識処理を継続し、降車候補者の更新を行うようにしてもよい。これにより、例えば、車内監視部１７２は、遅れてバス２０１の降車ドア２１４の方向に移動する人を降車候補者として新たに認識したり、誤認識した降車候補者を削除したりすることができる。

ステップＳ１６において、状況認識部１６２は、定刻前であるか否かを判定する。ステップＳ１６の判定処理は、定刻である、又は、定刻を過ぎていると判定されるまで繰り返し実行される。そして、定刻である、又は、定刻を過ぎていると判定された場合、処理はステップＳ１７に進む。

ステップＳ１７において、監視部１６１は、乗車候補者又は降車候補者が残っているか否かを判定する。ステップＳ１７の判定処理は、乗車候補者及び降車候補者が残っていないと判定されるまで繰り返し実行される。そして、乗車候補者及び降車候補者が残っていないと判定された場合、処理はステップＳ１８に進む。

なお、車外監視部１７１は、乗車候補者の乗車の認識処理の開始後に乗車候補者の認識処理を停止している場合、乗車候補者が残っていないと判定した後、念のために乗車候補者の認識処理を再度行うようにしてもよい。また、車外監視部１７１は、乗車候補者の乗車の認識処理の開始後に乗車候補者の認識処理を停止している場合、乗車候補者の誤認識により乗車候補者の乗車を認識できないときに備えて、所定の時間が経過しても乗車候補者が残っているとき、乗車候補者の認識処理を再度行うようにしてもよい。

さらに、車内監視部１７２は、降車候補者の降車の認識処理の開始後に降車候補者の認識処理を停止している場合、降車候補者が残っていないと判定した後、念のために降車候補者の認識処理を再度行うようにしてもよい。また、車内監視部１７２は、降車候補者の降車の認識処理の開始後に降車候補者の認識処理を停止している場合、降車候補者の誤認識により降車候補者の降車を認識できないときに備えて、所定の時間が経過しても降車候補者が残っているとき、降車候補者の認識処理を再度行うようにしてもよい。

また、例えば、車外監視部１７１は、乗車候補者の乗車の認識処理を行わずに、乗車候補者の認識処理を繰り返し、認識される乗車候補者がいなくなったときに、乗車候補者が残っていないと判定するようにしてもよい。同様に、車内監視部１７２は、降車候補者の降車の認識処理を行わずに、降車候補者の認識処理を繰り返し、認識される降車候補者がいなくなったときに、降車候補者が残っていないと判定するようにしてもよい。

ステップＳ１８において、車両制御部１５１は、発車可能であるか否かを判定する。例えば、車内監視部１７２は、車内画像に基づいて、着席していない乗客の有無を検出する。運転制御部１６３は、着席していない乗客が検出された場合、発車不可であると判定し、着席していない乗客が検出されなかった場合、発車可能であると判定する。ただし、運転制御部１６３は、満席の場合や、座らずに立っている乗客がいる場合も想定して、例えば、乗車候補者及び降車候補者がいなくなってから所定の時間（例えば、３０秒）が経過した後、立っている乗客の有無に関わらず、発車可能であると判定する。

そして、発車不可であると判定された場合、処理はステップＳ１７に戻り、ステップＳ１８において、発車可能であると判定されるまで、ステップＳ１７及びステップＳ１８の処理が繰り返し実行される。これにより、発車可能になるまでの間に新たな乗客の乗車又は降車が可能になる。

一方、ステップＳ１８において、発車可能であると判定された場合、処理はステップＳ１９に進む。

ステップＳ１９において、バス２０１は、発車する。具体的には、運転制御部１６３は、バス２０１の車体を傾斜させている場合、車体の傾斜を元に戻す。また、運転制御部１６３は、乗車ドア２１３及び降車ドア２１４を閉める。さらに、UI制御部１６６は、図示せぬ音声出力装置等を制御して、発車する旨のアナウンスを出力させる。そして、車外監視部１７１が、車外画像に基づいて周囲の安全を確認した後、バス２０１は、運転制御部１６３の制御の下に、発車し、徐々に加速する。

なお、車外監視部１７１は、バス２０１の発車直前又は発車直後に、乗り遅れた乗客の認識処理を行うようにしてもよい。例えば、車外監視部１７１は、バス２０１の後方の画像内において、バス２０１に向かって走ってきたり、バス２０１を追いかけてきたり、出発を待ってほしいと訴えかけるような動作をしたりする人がいる場合、乗り遅れた乗客であると認識する。乗り遅れた乗客が認識された場合、運転制御部１６３は、すでにバス２０１が発車している場合、停車可能であれば、バス２０１を停車させる。そして、運転制御部１６３は、乗り遅れた乗客の乗車が完了するまで、バス２０１の発車を遅らせる。

ステップＳ２０において、監視部１６１は、乗車候補者及び降車候補者の認識処理を停止する。このとき、撮像制御部１６５は、乗車候補者又は降車候補者の認識処理以外の用途に用いないカメラの撮像を停止するようにしてもよい。

その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。

このようにして、バス２０１に乗る人又はバス２０１から降りる人に応じて、バス２０１の自動運転を適切に行うことができる。すなわち、自動運転を行うバス２０１が、乗車する乗客及び降車する乗客の有無に応じて、確実に停留所に停車することが可能になる。これにより、確実に乗客がバス２０１に乗車し、所望の停留所で降車することが可能になる。

また、自動運転を行うバス２０１の乗客の利便性が向上する。すなわち、乗客は、停留所で待っているだけで、他に特別な動作等をすることなく、確実にバス２０１に乗ることができる。

＜２－３．第１の実施の形態の変形例＞
例えば、ステップＳ５において、定刻を過ぎていないと判定されるか、ステップＳ６において、降りる乗客がいると判定された場合、すなわち、乗車候補者の有無に関わらずバス２０１が停車する場合、例えば、車外監視部１７１は、乗車候補者の認識処理を、バス２０１の停車直前又は停車後に開始するようにしてもよい。

また、例えば、状況認識部１６２により、乗車候補者の認識精度が非常に低い状況（例えば、濃霧等）が認識されている場合、バス２０１が、乗車候補者や降りる乗客の有無に関わらず、次の停留所で停車するようにしてもよい。

さらに、例えば、最も優先度が高い優先認識領域内に人がいることが認識された場合、バス２０１が、その人の視線の向きや行動等に関わらず、その停留所で停車するようにしてもよい。

また、優先認識領域は、上述した２段階ではなく、１段階又は３段階以上に設定することも可能である。

さらに、次の停留場が終点である場合、車外監視部１７１は、乗車候補者の認識処理を行う必要はない。また、例えば、車内監視部１７２により車内に乗客がいないことが認識された場合、バス２０１が、終点で停車せずに、車庫等の次の目的地に向かうようにしてもよい。

＜＜３．第２の実施の形態＞＞
次に、本技術の第２の実施の形態について説明する。本技術の第２の実施の形態は、車両１１が自動運転を行うタクシーである場合に、車両１１が、自動的に乗客を見つけて停車し、乗客を乗せて発車するときの実施の形態である。

ここで、図１９のフローチャートを参照して、車両１１により実行される自動停発車処理について説明する。なお、この処理は、例えば、車両１１のＡＣＣ（アクセサリ）電源がオンされたとき開始され、ＡＣＣ電源がオフされたとき終了する。

ステップＳ１０１において、車外監視部１７１は、優先認識領域を設定する。ここで、優先認識領域とは、上述したように乗車候補者の認識処理を優先的に行う領域であり、例えば、車両１１に対する所定の方向における所定の領域であって、タクシーに乗りそうな人がいる領域が優先認識領域に設定される。

例えば、車外監視部１７１は、車外画像に基づいて、車両１１の進行方向において、車両１１が走行している車線側の歩道等を検出する。ここで、歩道等とは、例えば、歩道又は路側帯のことである。なお、厳密に言えば、歩道が設けられている車道の車道外側線と歩道の間の領域（例えば、図１１の歩道４０１と車道外側線４０３の間の領域）は車道に含まれる。しかし、その領域は、歩行者が通行する場合もあるため、歩道と見なすようにしてもよい。そして、車外監視部１７１は、検出した歩道等を優先認識領域に設定する。

ステップＳ１０２において、車外監視部１７１は、乗車候補者の認識処理を行う。例えば、車外監視部１７１は、車外画像に基づいて、顔認識等により、優先認識領域内の人の認識を行う。ここで、車外監視部１７１は、優先認識領域の周囲の領域を認識対象に加えてもよいし、認識対象を優先認識領域のみに限定するようにしてもよい。また、車外監視部１７１は、認識した人の位置、視線の向き、行動等の認識を行う。そして、車外監視部１７１は、認識した人の位置、視線の向き、行動等の認識結果のうち少なくとも１つに基づいて、認識した人の中から乗車候補者を抽出する。

例えば、車外監視部１７１は、認識した人の中から、明らかにタクシーを待っていないと推定される人を除外する。例えば、歩いている人や自転車に乗っている人等が除外される。

次に、車外監視部１７１は、残った人それぞれに対して、位置、視線の向き、行動等を基準とするスコアを付与する。例えば、優先認識領域内にいる人、手を挙げている人、車両１１の方向に視線を向けている人等に高いスコアが付与される。そして、車外監視部１７１は、スコアの合計が所定の閾値以上の人を乗車候補者に設定する。このとき、乗車候補者が複数いてもよい。

なお、例えば、車外監視部１７１は、上述したバスの乗車候補者の認識処理を行い、バスの乗車候補者を除外して、タクシーの乗車候補者を認識するようにしてもよい。

ステップＳ１０３において、車外監視部１７１は、ステップＳ１０２の処理の結果に基づいて、乗車候補者がいるか否かを判定する。乗車候補者がいないと判定された場合、処理はステップＳ１０１に戻る。

その後、ステップＳ１０３において乗車候補者がいると判定されるまで、ステップＳ１０１乃至ステップＳ１０３の処理が繰り返し実行される。

一方、ステップＳ１０３において、乗車候補者がいると判定された場合、処理はステップＳ１０４に進む。

ステップＳ１０４において、車両１１は、運転制御部１６３の制御の下に、乗車候補者に接近する。このとき、車両１１は、必要に応じて徐行する。また、車両１１は、複数の乗車候補者が存在する場合、その中のいずれかの乗車候補者に接近する。例えば、車両１１は、最も近くにいる乗車候補者、又は、最もスコアが高い乗車候補者に接近する。

ステップＳ１０５において、車外監視部１７１は、乗車候補者を特定する。例えば、車外監視部１７１は、再度乗車候補者の認識処理を行う。そして、車外監視部１７１は、スコアの合計が所定の閾値以上の人の中から１人を乗車候補者に特定する。例えば、車外監視部１７１は、スコアの合計が所定の閾値以上の人のうち最も近くにいる人、又は、最もスコアが高い人を乗車候補者に特定する。また、車外監視部１７１は、特定した乗車候補者の傍に乗車候補者と同行していると推定される人がいる場合、その人も乗車候補者に追加する。

ステップＳ１０６において、車外監視部１７１は、ステップＳ１０５の処理の結果に基づいて、乗車候補者を特定できたか否かを判定する。乗車候補者を特定できなかったと判定された場合、例えば、スコアの合計が所定の閾値以上の人がいなかった場合、処理はステップＳ１に戻る。なお、このとき、車両１１は、徐行している場合、通常の走行速度まで加速する。

その後、ステップＳ１０６において、乗車候補者を特定できたと判定されるまで、ステップＳ１０１乃至ステップＳ１０６の処理が繰り返し実行される。

一方、ステップＳ１０６において、乗車候補者を特定できたと判定された場合、処理はステップＳ１０７に進む。

ステップＳ１０７において、車両１１は、運転制御部１６３の制御の下に、乗車候補者に合図を送る。例えば、車両１１は、乗車候補者に向けてヘッドライトをパッシングしたり、カーホーン（クラクション）を鳴らしたりする。

なお、ステップＳ１０７の処理は、省略することも可能である。

ステップＳ１０８において、車外監視部１７１は、乗車候補者の傍に停車可能であるか否かを判定する。例えば、車外監視部１７１は、車外画像に基づいて、乗車候補者の周囲において、障害物の有無を検出する。ここで、障害物とは、車両１１の停車を妨げるものであり、例えば、他の車両、人等が想定される。また、例えば、車外監視部１７１は、乗車候補者の周囲において、停車できない領域の有無を検出する。ここで、停車できない領域とは、例えば、明示的に停車が禁止されている領域（例えば、駐停車禁止領域、バス専用レーン等）、交差点付近、横断歩道等である。

車外監視部１７１は、乗車候補者の周囲に、障害物及び停車できない領域がない場合、乗車候補者の傍に停車可能であると判定し、処理はステップＳ１０９に進む。

ステップＳ１０９において、車両１１は、乗車候補者の傍に停車する。例えば、停車位置設定部１６４は、乗車候補者の傍に停車位置を設定する。車両１１は、運転制御部１６３の制御の下に、停車位置に近づくにつれて徐々に減速し、停車位置で停車する。その後、車外監視部１７１が、車外画像に基づいて周囲の安全を確認した後、運転制御部１６３は、車両１１の後部座席のドアを開く。また、運転制御部１６３は、必要に応じて、車両１１の助手席のドア及びトランクのドアを開く。

その後、処理はステップＳ１１１に進む。

一方、ステップＳ１０８において、車外監視部１７１は、乗車候補者の周囲に、障害物又は停車できない領域がある場合、乗車候補者の傍に停車できないと判定し、処理はステップＳ１１０に進む。

ステップＳ１１０において、車両１１は、乗車候補者から少し離れた場所に停車する。例えば、車外監視部１７１は、車両１１が停車可能な場所であって、乗車候補者に最も近い場所を検出し、停車位置設定部１６４は、その場所を停車位置に設定する。車両１１は、運転制御部１６３の制御の下に、停車位置に近づくにつれて徐々に減速し、停車位置で停車する。その後、車外監視部１７１が、車外画像に基づいて周囲の安全を確認した後、運転制御部１６３は、車両１１の後部座席のドアを開く。また、運転制御部１６３は、必要に応じて、車両１１の助手席のドア及びトランクのドアを開く。

なお、このとき、例えば、設定された停車位置が乗車候補者から離れすぎている場合、例えば、設定された停車位置と乗車候補者との間の距離が所定の閾値以上である場合、車両１１は、停車せずにそのまま通過するようにしてもよい。

その後、処理はステップＳ１１１に進む。

なお、ステップＳ１０９及びステップＳ１１０において、車両１１が、周囲の車両（例えば、後続車両）との関係等により、設定された停車位置での停車が困難な場合、停車せずにそのまま通過するようにしてもよい。

ステップＳ１１１において、車外監視部１７１は、乗車候補者の乗車の認識処理を開始する。例えば、車外監視部１７１は、各乗車候補者の顔画像又は顔の特徴量を記憶する。また、車外監視部１７１は、記憶した各乗車候補者の顔画像又は顔の特徴量、車外画像及び車内画像を用いて、車両１１に新たに乗車した乗客の顔認証を行う。そして、車外監視部１７１は、新たに乗車した乗客の顔と類似する顔を持つ乗車候補者が存在する場合、その乗客を乗車候補者から削除する。

ステップＳ１１２において、運転制御部１６３は、発車可能であるか否かを判定する。例えば、運転制御部１６３は、車外監視部１７１により乗車候補者全員の乗車がまだ認識されていない場合、発車不可であると判定し、処理はステップＳ１１３に進む。

ステップＳ１１３において、車外監視部１７１は、乗車候補者の誤認識が発生しているか否かを判定する。乗車候補者の誤認識が発生していないと判定された場合、処理はステップＳ１１２に戻る。

その後、ステップＳ１１２において、発車可能であると判定されるか、ステップＳ１１３において、乗車候補者の誤認識が発生していると判定されるまで、ステップＳ１１２及びステップＳ１１３の処理が繰り返し実行される。

一方、ステップＳ１１２において、運転制御部１６３は、車外監視部１７１により乗車候補者全員の乗車が認識された場合、発車可能であると判定し、処理はステップＳ１１４に進む。

また、ステップＳ１１３において、例えば、車外監視部１７１は、停車後に所定の時間Ｔ１が経過しても乗車候補者が乗車を開始しない場合、乗車候補者の誤認識が発生していると判定し、処理はステップＳ１１４に進む。

また、例えば、車外監視部１７１は、停車後に所定の時間Ｔ２（＞時間Ｔ１）が経過しても全ての乗車候補者の乗車を認識できない場合、乗車候補者の誤認識が発生していると判定し、処理はステップＳ１１４に進む。なお、時間Ｔ２は、乗客がトランクに荷物を収納する時間等を考慮して、乗車に要する標準的な時間より長めに設定される。

ステップＳ１１４において、車両１１は、発車する。具体的には、運転制御部１６３は、車両１１のドアやトランクを閉める。そして、車外監視部１７１が、車外画像に基づいて周囲の安全を確認した後、車両１１は、運転制御部１６３の制御の下に、発車し、徐々に加速する。

その後、自動停発車処理は終了する。

このようにして、タクシー（車両１１）に乗る乗客に応じて、タクシーの自動運転を適切に行うことができる。すなわち、自動運転を行うタクシーが、乗客を自動的に見つけて停車し、その乗客を乗せて発車することができる。

また、自動運転を行うタクシーの乗客の利便性が向上する。すなわち、乗客は、自動運転を行わないタクシーに乗る場合と同じ動作を行うだけで、自動運転を行うタクシーに乗ることができる。

なお、この自動停発車処理は、例えば、タクシー以外にも、任意の場所で乗車可能な交通機関において自動運転を行う移動体に適用することができる。例えば、自動運転を行う乗り合いバス等が想定される。

＜＜４．第３の実施の形態＞＞
次に、本技術の第３の実施の形態について説明する。本技術の第３の実施の形態は、車両１１が自動運転を行うタクシーである場合に、例えば、乗車候補者が、タクシーの配車を行うアプリケーションソフトウエア（以下、配車APPと称する）を用いて配車の予約を行ったとき、車両１１が、自動的に乗車候補者を見つけて停車し、乗車候補者を乗せて発車するときの実施の形態である。

ここで、図２０のフローチャートを参照して、車両１１により実行される自動停発車処理について説明する。なお、この処理は、例えば、乗車候補者が、スマートフォン、タブレット、携帯電話機等の携帯型端末装置において配車APPを用いてタクシーの配車の予約を行い、その予約内容を示す情報（以下、配車予約情報と称する）を送信し、ネットワークやサーバ等を介して、車両１１の通信部２５が、配車予約情報を受信したとき開始される。

配車予約情報は、例えば、乗車候補者の現在位置、乗車予定位置、乗車予定時刻、乗車予定人数を含む。なお、乗車候補者の現在位置は、乗車候補者の携帯型端末装置に設けられているGPS（Global Positioning System）受信機により受信されたGPS情報で代用してもよい。また、配車予約情報に乗車予定位置が含まれない場合、乗車候補者の現在位置を乗車予定位置とみなすようにしてもよい。また、配車予約情報に、例えば、乗車候補者の顔画像又は乗車候補者の顔の特徴量を示す顔特徴量データを含めるようにしてもよい。

ステップＳ１５１において、車両１１は、運転制御部１６３の制御の下に、乗車予定位置に移動する。このとき、乗車予定時刻が指定されている場合、車両１１は、乗車予定時刻に間に合うように乗車予定位置に移動する。

ステップＳ１５２において、車外監視部１７１は、乗車候補者の認識処理を行う。例えば、配車予約情報に乗車候補者の顔画像又は顔特徴量データが含まれない場合、車外監視部１７１は、図１９のステップＳ１０２と同様の処理により、乗車候補者の認識処理を行う。

一方、配車予約情報に乗車候補者の顔画像又は顔特徴量データが含まれる場合、車外監視部１７１は、車外画像内の人の認識を行う。そして、車外監視部１７１は、認識した人の顔画像又は顔特徴量と、配車予約情報に含まれる乗車候補者の顔画像又は顔特徴量との照合（顔認証）を行うことにより、乗車候補者の認識を行う。

なお、乗車候補者の認識処理は、乗車候補者の認識に失敗しても、所定の回数又は所定の時間繰り返し実行される。また、配車予約情報に乗車予定時刻が設定されている場合、乗車候補者の認識処理は、乗車候補者の認識に失敗しても、乗車予定時刻まで、又は、乗車予定時刻の所定の時間後まで、繰り返し実行される。

ステップＳ１５３において、車外監視部１７１は、ステップＳ１５２の処理の結果に基づいて、乗車候補者を特定できたか否かを判定する。乗車候補者を特定できたと判定された場合、処理はステップＳ１５４に進む。

ステップＳ１５４において、車両１１は、乗車候補者への通知を行う。例えば、車両１１は、図１９のステップＳ１０７の処理と同様に、乗車候補者に合図を送ることにより、乗車候補者への通知を行う。或いは、例えば、通信部２５は、乗車予定位置に到着したことを通知するメッセージを、ネットワークやサーバ等を介して、乗車候補者の携帯型端末装置に送信する。

その後、ステップＳ１５５乃至ステップＳ１６１において、図１９のステップＳ１０８乃至ステップＳ１１４と同様の処理が実行され、自動停発車処理は終了する。

なお、ステップＳ１５７において、上述した図１９のステップＳ１１０の処理と異なり、車両１１は、乗車候補者から離れた場所であっても必ず停車する。

また、ステップＳ１５８において、車外監視部１７１は、配車予約情報に乗車予定人数が含まれる場合、乗車した人数と乗車予定人数を比較することにより、乗車候補者の乗車の認識処理を行うようにしてもよい。

一方、ステップＳ１５３において、乗車候補者を特定できなかったと判定された場合、ステップＳ１５４乃至ステップＳ１６１の処理は省略され、自動停発車処理は終了する。すなわち、車両１１の停車及び発車は行われない。

なお、乗車候補者を特定できなかった場合、例えば、通信部２５は、乗車候補者を見つけられなかったことを通知するメッセージを、ネットワークやサーバ等を介して、乗車候補者の携帯型端末装置に送信するようにしてもよい。その後、車両１１は、乗車候補者と通信を行いながら、乗車候補者を特定するようにしてもよい。

この自動停発車処理は、タクシー以外においても、予約又は登録した乗車候補者を自動的にピックアップする場合に適用することができる。

例えば、自動運転を行う自家用車において、予約又は登録した乗車候補者を自動的にピックアップする場合に適用することができる。例えば、自家用車のオーナー等が、ピックアップする対象となる乗車候補者の顔画像又は顔特徴量データを、事前に車両１１又は車両１１と通信可能なサーバに登録する。なお、乗車候補者としては、例えば、車両１１のオーナー、オーナーの家族、親せき、知人、友人等が想定される。そして、車両１１は、上述した処理により、顔画像又は顔特徴量データを用いて、登録された乗車候補者を認識し、認識した乗車候補者をピックアップする。

また、例えば、路線バスにおいても、事前に乗車予約を行い、顔画像又は顔特徴量データをバス又はバスと通信可能なサーバ等に送信し、バスが、顔認証を用いて乗車候補者の認識処理を行うようにしてもよい。

＜＜５．第４の実施の形態＞＞
次に、本技術の第４の実施の形態について説明する。

なお、以下の説明では、特に区別しない限り、車両１１には、上述したバス２０１が含まれるものとする。

以上の説明では、車両１１が、自動運転を行う場合に本技術を適用する場合を例に挙げたが、本技術は、車両１１が半自動運転を行う場合にも適用することが可能である。

例えば、車両１１の停車は上述したように自動で行い、発車は運転者の操作により行うようにしてもよい。

また、例えば、乗車候補者が認識された場合、車両１１が自動的に減速した後、徐行し、最終的な停車判断は運転者が行うようにしてもよい。

さらに、例えば、車両１１が、半自動運転を行う場合に、乗車候補者の認識結果等を通知する画面（以下、アシスト画面と称する）を運転者に提示し、運転の支援を行うようにしてもよい。アシスト画面は、例えば、UI制御部１６６の制御の下に、車両１１の表示部２４に表示される。

図２１乃至図２４は、アシスト画面の例を模式的に示している。

図２１は、バスが停留所に接近している場合に運転者に対して提示されるアシスト画面の例を示している。

図２１のアシスト画面では、バスの前方の画像にいくつかの情報が重畳されている。具体的には、停留所の標識の位置を示す枠６０１が表示されている。優先認識領域を示す枠６０２が表示されている。停車位置を示す枠６０３が表示されている。認識した人の顔を囲む枠６０４ａ乃至６０４ｄが表示されている。なお、乗車候補者とそれ以外の人で、枠６０４ａ乃至６０４ｄのデザインや色等を変えることにより、乗車候補者とそれ以外の人が区別されてもよい。

また、画面の下部において、乗車候補者がいることを示すメッセージ６０５が表示されている。画面の左上隅にバスのルートマップ６０６が表示されている。画面の中央上端に、現在時刻６０７が表示されている。現在時刻６０７の右隣に、停留所に到着すべき時刻までの残り時間６０８がカウントダウン表示されている。画面の右上隅に、停留場の周辺で認識された人の人数を示す数字６０９が表示されている。数字６０９の下に、認識された乗車候補者の人数を示す数字６１０が表示されている。数字６０９の下に、降りる乗客の有無を示すメッセージ６１１が表示されている。メッセージ６１１の下に空席数を示す数字６１２が表示されている。

このアシスト画面により、運転者は、停留所及び停車位置を確実に認識することができる。また、運転者は、乗車候補者の有無、人数、位置を確実に認識することができる。さらに、運転者は、降りる人の有無、及び、空席数を確実に認識することができる。

図２２は、バスが停留所を発車した直後に運転者に対して提示されるアシスト画面の例を示している。

図２２のアシスト画面には、バスの後方の画像が表示されるとともに、表示された画像にいくつかの情報が重畳されている。具体的には、バスに向かって走っていることにより乗り遅れた乗客として認識された乗車候補者を囲む枠６３１が表示されている。画面の右上隅に、運転者に注意を促すマーク６３２が表示されている。画面の中央下方に、乗り遅れた乗客がいることを示すメッセージ６３３が表示されている。

これにより、運転者は、乗り遅れた乗客がいることを確実に認識することができる。

なお、例えば、図２２のアシスト画面とともに、アラーム等の音声により、乗り遅れた乗客がいることを通知するようにしてもよい。また、例えば、車両１１が、運転制御部１６３の制御の下に自動的に徐行し、運転者に停車を促すようにしてもよい。

図２３は、任意の場所で乗車が可能なバスやタクシーにおいて運転者に対して提示されるアシスト画面の例を示している。

図２３のアシスト画面には、車両の前方の画像が表示されるとともに、表示された画像にいくつかの情報が重畳されている。具体的には、車両の方を向いて手を挙げていることにより認識された乗車候補者を囲む枠６５１が表示されている。画面の右上隅に運転者に注意を促すマーク６５２が表示されている。画面の中央下方に、乗車候補者を認識したことを示すメッセージ６５３が表示されている。

これにより、運転者は、乗車候補者がいることを確実に認識することができる。

なお、例えば、図２３のアシスト画面とともに、アラーム等の音声により、乗車候補者がいることを通知するようにしてもよい。また、例えば、車両１１が、運転制御部１６３の制御の下に自動的に徐行し、運転者に停車を促すようにしてもよい。

図２４は、タクシーの運転者に対して提示されるアシスト画面の例を示している。

図２４のアシスト画面では、タクシーの前方の画像にいくつかの情報が重畳されている。具体的には、優先認識領域において認識された人のうち、乗車候補者の全身を囲む枠６７１ａ及び枠６７１ｂが表示されている。また、優先認識領域において認識された人のうち、乗車候補者以外の人の顔を囲む枠６７２ａ及び枠６７２ｂが表示されている。また、乗車候補者の位置を示す矢印６７３が表示されている。これにより、アシスト画面の中から、乗車候補者を容易に認識することができる。

なお、横断歩道を歩行中の人は、優先認識領域から離れた位置におり認識されていないため、枠は表示されていない。

また、乗車候補者の手前の路面に停車位置を示す枠６７４が表示されている。これにより、運転者は、乗車候補者をピックアップするのに適した位置に車両１１を停車させることができる。

さらに、画面の右上隅に地図６７５が表示されている。地図６７５の下に乗車候補者の人数を示す数字６７６が表示されている。

このアシスト画面により、運転者は、乗車候補者の存在を確実に認識することができる。また、運転者は、乗車候補者の人数、位置を確実に認識することができる。

なお、例えば、表示部２４がウィンドシールド部分に重畳して設けられた透過型ディスプレイである場合、例えば、図２３及び図２４のアシスト画面は、車両１１の搭乗者の視界（例えば、ウィンドシールドから見える車両１１の外の現実の世界）に対して、ＡＲ（拡張現実）等により情報を重畳することにより実現することが可能である。

また、図２１乃至図２４のアシスト画面は、自動運転及び半自動運転を行わない車両にも適用することができる。

＜＜６．変形例＞＞
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。

乗車候補者の認識処理には、上述した停留所の待合室のカメラにより撮像された画像のように、車両１１以外の場所から撮像された画像を用いることが可能である。例えば、停留場の標識に設けられているカメラ、市街地等に設けられている監視カメラ等により撮像された画像が想定される。また、例えば、車両１１の外部のカメラ又はカメラを備えるシステムにおいて、乗車候補者の認識処理を行い、その認識処理の結果を車両１１が取得するようにしてもよい。

さらに、車両１１で用いられた乗客の顔画像又は顔特徴量データは、プライバシー保護のために削除することが望ましい。例えば、乗客の乗車又は降車が認識された後すぐに、その乗客の顔画像又は顔特徴量データを削除するようにしてもよい。

或いは、例えば、乗客の乗車又は降車が認識されてから所定の期間が経過した後に、その乗客の顔画像又は顔特徴量データを削除するようにしてもよい。これにより、例えば、乗客が忘れ物等を取りに来た場合等に、実際にその乗客が乗車していたか否かの確認が容易になる。

また、以上の説明では、バス２０１が、乗車候補者の認識処理及び降車候補者の認識処理の両方を行う例を示したが、一方のみを行うようにしてもよい。同様に、バス２０１が、乗車候補者の乗車の認識処理、及び、降車候補者の降車の認識処理のうち一方のみを行うようにしてもよい。

さらに、以上の説明では、タクシーである車両１１において、降車候補者の認識処理、及び、降車候補者の認識処理を行う例を示さなかったが、それらの処理を行うようにしてもよい。これは、例えば乗り合いタクシーのように、乗客により降車位置が異なる場合に有効である。

また、車両１１から乗客が降車した場合に、車両１１が、一時的な降車か否かを判定し、一時的な降車であると判定した場合、乗客が再乗車するまで発車せずに待機するようにしてもよい。

なお、一時的な降車か否かの判定には、任意の方法を採用することができる。例えば、各乗客が、アプリケーションプログラム等を用いて予め目的地を登録しておく。そして、監視部１６１は、降車した乗客の顔認証を行い、降車した乗客の目的地を認識する。そして、例えば、監視部１６１は、降車した場所が降車した乗客の目的地と異なる場合、一時的な降車であると判定するようにしてもよい。或いは、例えば、監視部１６１は、目的地が一時的に立ち寄るような場所である場合（例えば、高速道路のサービスエリア又はパーキングエリア、コンビニエンスストア等）、一時的な降車であると判定するようにしてもよい。

さらに、例えば、車外監視部１７１が車両１１の進行方向に障害物を検出し、車両１１が停車した後に乗客が降車した場合、その乗客は障害物を撤去するために降車したと想定される。そこで、運転制御部１６３は、車外監視部１７１が、障害物が撤去されたことを認識し、乗客が再乗車するまで、再発車しないようにしてもよい。

なお、本技術は、車両以外の自動運転又は半自動運転を行う移動体にも適用することが可能である。

例えば、本技術は、乗客が乗降するための停止地点が定められている交通機関に用いられる移動体に適用することができる。特に、本技術は、バスのように停止地点で待っている乗客の有無、及び、停止地点で降りる乗客の有無により、停止地点を通過する場合がある交通機関に用いられる移動体に適用することができる。例えば、そのような移動体として、列車、水上バス等が想定される。

また、例えば、本技術は、タクシーのように任意の場所で乗ることが可能な交通機関に用いられる移動体に適用することができる。さらに、例えば、本技術は、上述した自家用車のように、搭乗者を任意の場所でピックアップ可能な自家用の移動体にも適用することが可能である。

＜＜７．その他＞＞
＜７－１．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ（例えば、各種のECUのプロセッサ等）にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、複数のコンピュータが連携して上述した処理が行われるようにしてもよい。上述した処理を行う単数または複数のコンピュータから、コンピュータシステムが構成される。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜７－２．構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
移動体への乗車候補者、及び、前記移動体からの降車候補者のうち少なくとも一方の認識に基づいて、前記移動体の加減速制御を行う運転制御部を
備える移動体制御装置。
（２）
前記運転制御部は、前記乗車候補者の認識及び前記降車候補者の認識のうち少なくとも一方に基づいて、前記移動体の停止制御を行う
前記（１）に記載の移動体制御装置。
（３）
前記運転制御部は、前記乗車候補者の前記移動体への搭乗の認識、及び、前記降車候補者の前記移動体からの降車の認識のうち少なくとも一方に基づいて、前記移動体の発進制御を行う
前記（１）又は（２）に記載の移動体制御装置。
（４）
前記乗車候補者の認識は、前記移動体の所定の停止候補地点の近傍領域を対象として行われる
前記（３）に記載の移動体制御装置。
（５）
前記停止候補地点における所定の基準位置に基づいて、前記乗車候補者の認識を優先的に行う優先認識領域が設定される
前記（４）に記載の移動体制御装置。
（６）
前記基準位置は、前記停止候補地点を示す標識、前記停止候補地点における所定の構造物、及び、前記停止候補地点における所定の搭乗位置のうち少なくとも１つである
前記（５）に記載の移動体制御装置。
（７）
前記優先認識領域は、さらに前記停止候補地点の構成及び前記停止候補地点の周囲の状況のうち少なくとも１つに基づいて設定される
前記（５）又は（６）に記載の移動体制御装置。
（８）
前記基準位置は、前記停止候補地点の周囲の状況に応じて変更される
前記（５）乃至（７）のいずれかに記載の移動体制御装置。
（９）
認識の対象となる近傍領域は、前記移動体に対する所定の方向における所定の領域に設定される
前記（４）乃至（８）のいずれかに記載の移動体制御装置。
（１０）
前記乗車候補者の認識は、前記移動体の撮像部による撮像画像により認識される人の顔、視線の向き、位置、及び、行動のうち少なくとも１つに基づいて行われる
前記（１）乃至（９）のいずれかに記載の移動体制御装置。
（１１）
前記乗車候補者の認識は、さらに前記移動体の外部撮像装置による撮像画像に基づいて行われる
前記（１０）に記載の移動体制御装置。
（１２）
前記乗車候補者又は前記降車候補者の認識は、事前に取得した前記乗車候補者又は前記降車候補者の顔画像又は顔の特徴量を示すデータを用いた顔認証に基づき行われる
前記（１）乃至（１１）のいずれかに記載の移動体制御装置。
（１３）
前記乗車候補者または降車候補者の認識を行うための撮像部を、前記移動体における異なる方向または異なる位置に複数備え、
前記移動体の移動時と停止時とで、前記乗車候補者又は前記降車候補者の認識処理に用いる前記撮像部を変更する
前記（１）乃至（１２）のいずれかに記載の移動体制御装置。
（１４）
前記降車候補者の認識は、前記移動体内を撮像した画像における、前記移動体の搭乗者の位置及び行動のうち少なくとも１つに基づいて行われる
前記（１）乃至（１３）のいずれか記載の移動体制御装置。
（１５）
前記乗車候補者の認識結果の通知を制御するユーザインタフェース制御部を
さらに備える前記（１）乃至（１４）のいずれかに記載の移動体制御装置。
（１６）
前記ユーザインタフェース制御部は、前記移動体が備える撮像部による撮像画像に、前記乗車候補者の認識結果を示す情報を重畳して表示する
前記（１５）に記載の移動体制御装置。
（１７）
前記ユーザインタフェース制御部は、前記乗車候補者の認識結果を示す情報を、前記移動体の搭乗者における視界に対して重畳して表示する
前記（１５）又は（１６）に記載の移動体制御装置。
（１８）
移動体への乗車候補者、及び、前記移動体からの降車候補者のうち少なくとも一方の認識に基づいて、前記移動体の加減速制御を行う運転制御ステップを
含む移動体制御方法。
（１９）
乗車候補者及び降車候補者のうち少なくとも一方の認識に基づいて、加減速制御を行う運転制御部を
備える移動体。

１１ 車両， ２１ フロントセンシングカメラ， ２２ フロントカメラECU， ２３ 位置情報取得部， ２４ 表示部， ２５ 通信部， ２７ レーダ， ２８ ライダ， ２９，２９Ｌ，２９Ｒ サイドビューカメラ， ３０，３０Ｌ，３０Ｒ サイドビューカメラECU， ３１ 統合ECU， ３２ フロントビューカメラ， ３３ フロントビューカメラECU， ３４ 制動装置， ３９ リアビューカメラ， ４０ リアビューカメラECU， ４２ 車内カメラ， ４３ 車内カメラECU， ５１ 運転制御ECU， １０１ 画像合成ECU， １５１ 車両制御部， １６１ 監視部， １６２ 状況認識部， １６３ 走行制御部， １６４ 停車位置認識部， １６５ 撮像制御部， １６６ UI制御部， １７１ 車外監視部， １７２ 車内監視部， ２０１ バス， ２２１Ｆ１乃至２２１Ｂ カメラ， Ｐａ乃至Ｐｅ 停車基準位置， Ａ１ａ乃至Ａ２ｅ 優先認識領域， ５２１ カメラ

Claims (19)

1. 移動体の周囲を撮像した画像である移動体外画像に基づいて、前記移動体の停止候補地点を検出し、前記停止候補地点の近傍領域を対象として、前記移動体への乗車候補者の認識を行う監視部と、
   前記乗車候補者の認識に基づいて、前記移動体の加減速制御を行う運転制御部と
   を備える移動体制御装置。
2. 前記監視部は、さらに前記移動体内を撮像した画像である移動体内画像に基づいて、前記移動体からの降車候補者の認識を行い、
   前記運転制御部は、さらに前記降車候補者の認識に基づいて、前記移動体の加減速制御を行う
   請求項１に記載の移動体制御装置。
3. 前記運転制御部は、前記乗車候補者の認識及び前記降車候補者の認識のうち少なくとも一方に基づいて、前記移動体の停止制御を行う
   請求項２に記載の移動体制御装置。
4. 前記運転制御部は、前記乗車候補者の前記移動体への搭乗の認識、及び、前記降車候補者の前記移動体からの降車の認識のうち少なくとも一方に基づいて、前記移動体の発進制御を行う
   請求項２に記載の移動体制御装置。
5. 前記監視部は、事前に取得した前記乗車候補者又は前記降車候補者の顔画像又は顔の特徴量を示すデータを用いた顔認証に基づいて、前記乗車候補者又は前記降車候補者の認識を行う
   請求項２に記載の移動体制御装置。
6. 前記乗車候補者または前記降車候補者の認識を行うための撮像部を、前記移動体における異なる方向または異なる位置に複数備え、
   前記移動体の移動時と停止時とで、前記乗車候補者又は前記降車候補者の認識処理に用いる前記撮像部を変更する
   請求項２に記載の移動体制御装置。
7. 前記監視部は、前記移動体内画像における、前記移動体の搭乗者の位置及び行動のうち少なくとも１つに基づいて、前記降車候補者の認識を行う
   請求項２に記載の移動体制御装置。
8. 前記監視部は、前記停止候補地点における所定の基準位置に基づいて、前記乗車候補者の認識を優先的に行う優先認識領域を設定する
   請求項１に記載の移動体制御装置。
9. 前記基準位置は、前記停止候補地点を示す標識、前記停止候補地点における所定の構造物、及び、前記停止候補地点における所定の搭乗位置のうち少なくとも１つである
   請求項８に記載の移動体制御装置。
10. 前記監視部は、さらに前記停止候補地点の構成及び前記停止候補地点の周囲の状況のうち少なくとも１つに基づいて、前記優先認識領域を設定する
    請求項８に記載の移動体制御装置。
11. 前記監視部は、前記停止候補地点の周囲の状況に応じて、前記基準位置を変更する
    請求項８に記載の移動体制御装置。
12. 前記監視部は、前記移動体に対する所定の方向における所定の領域を前記近傍領域に設定する
    請求項１に記載の移動体制御装置。
13. 前記監視部は、前記移動体外画像により認識される人の顔、視線の向き、位置、及び、行動のうち少なくとも１つに基づいて、前記乗車候補者の認識を行う
    請求項１に記載の移動体制御装置。
14. 前記監視部は、さらに前記移動体の外部の撮像装置による撮像画像に基づいて、前記乗車候補者の認識を行う
    請求項１に記載の移動体制御装置。
15. 前記乗車候補者の認識結果の通知を制御するユーザインタフェース制御部を
    さらに備える請求項１に記載の移動体制御装置。
16. 前記ユーザインタフェース制御部は、前記移動体が備える撮像部による撮像画像に、前記乗車候補者の認識結果を示す情報を重畳して表示する
    請求項１５に記載の移動体制御装置。
17. 前記ユーザインタフェース制御部は、前記乗車候補者の認識結果を示す情報を、前記移動体の搭乗者における視界に対して重畳して表示する
    請求項１５に記載の移動体制御装置。
18. 移動体制御装置が、
    移動体の周囲を撮像した画像である移動体外画像に基づいて、前記移動体の停止候補地点を検出し、前記停止候補地点の近傍領域を対象として、前記移動体への乗車候補者の認識を行う監視ステップと、
    前記乗車候補者の認識に基づいて、前記移動体の加減速制御を行う運転制御ステップと
    を含む移動体制御方法。
19. 周囲を撮像した画像である移動体外画像に基づいて、停止候補地点を検出し、前記停止候補地点の近傍領域を対象として、乗車候補者の認識を行う監視部と、
    前記乗車候補者の認識に基づいて、加減速制御を行う運転制御部と
    を備える移動体。

Images