JP7000401B2

JP7000401B2 - 車両制御装置、車両、車両制御装置の動作方法およびプログラム

Info

Publication number: JP7000401B2
Application number: JP2019210602A
Authority: JP
Inventors: 岳島本; 順平野口; 直敏竹村; 秀俊小堀; 真史相良; 達朗藤原
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2019-11-21
Filing date: 2019-11-21
Publication date: 2022-01-19
Anticipated expiration: 2039-11-21
Also published as: CN112825530A; US20210157335A1; JP2021079880A; CN112825530B; US11586224B2

Description

本発明は、車両制御装置、車両、車両制御装置の動作方法およびプログラムに関する。

特許文献１は、駐車のために初期位置から最終位置までの自動移動を、操作端末を使用して車両の外部から遠隔で開始することを開示している。

このように操作端末を用いて遠隔で車両を運転中の操作者には、通常の車両運転時と同様に周辺監視義務が発生するため、操作端末上などに操作者が車両の周辺監視を行うことを促すことが考えられる。

特開２０１７－５１７９０３号公報

しかしながら、操作端末上などに操作者が周辺監視を行うことを促しただけでは、実際に周辺監視が実施されないまま遠隔制御が実行されてしまう可能性があるという課題がある。

本発明の目的は、車両の遠隔制御の安全性を向上させるための技術を提供することにある。

本発明によれば、
車両の外部の遠隔操作端末からの指示を介して前記車両の移動を制御する車両制御装置であって、
前記車両の周囲を撮像する撮像手段により撮像された画像を取得する取得手段と、
前記取得手段により取得された画像に基づいて前記遠隔操作端末の操作者を検出する操作者検出手段と、
前記操作者検出手段による検出結果に基づいて、前記画像から検出された前記操作者が存在する位置を推定する位置推定手段と、
前記車両に対する前記遠隔操作端末の位置を検出する端末検出手段と、
前記車両と前記操作者との距離と、前記車両と前記遠隔操作端末との距離との差に基づいて、前記遠隔操作端末を介した前記車両の遠隔制御の作動の可否を制御する制御手段と、
を備えることを特徴とする車両制御装置が提供される。

本発明によれば、遠隔操作端末や操作者の検出状況に応じて車両の遠隔制御の作動の可否が制御されることから、それらの状況に応じて車両の遠隔制御の作動を禁止したり、許可したりすることが可能となる。そのため、車両の遠隔制御の安全性を向上させることができる。

実施形態に係る車両制御システムの機能構成を示すブロック図。実施形態に係る車両制御装置が実施する処理の全体の手順を示すフローチャート。実施形態に係る遠隔制御の作動の可否を判定する処理の詳細な手順を示すフローチャート。実施形態に係る操作端末の位置を検出する方法の一例の説明図。実施形態に係る操作端末の位置を検出する方法の一例の説明図。実施形態に係る操作端末の位置を検出する方法の一例の説明図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

＜車両制御システムの構成＞
図１は実施形態に係る車両制御システムの機能構成を示すブロック図である。図１に示すように、車両制御システム１は車両に搭載された車両システム２と、操作端末３とを有する。車両システム２は、推進装置４、ブレーキ装置５、ステアリング装置６、外界センサ７、車両センサ８、通信装置９、ナビゲーション装置１０、運転操作装置１１、運転者検出センサ１２、インタフェース装置（ＨＭＩ装置）１３、スマートキー１４、及び制御装置１５を有している。車両システム２の各構成は、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）等の車載通信ネットワークによって信号伝達可能に接続されている。

推進装置４は車両に駆動力を付与する装置であり、例えば動力源及び変速機を含む。動力源はガソリンエンジンやディーゼルエンジン等の内燃機関及び電動機の少なくとも一方を有する。ブレーキ装置５は車両に制動力を付与する装置であり、例えばブレーキロータにパッドを押し付けるブレーキキャリパと、ブレーキキャリパに油圧を供給する電動シリンダとを含む。ブレーキ装置５はワイヤケーブルによって車輪の回転を規制するパーキングブレーキ装置を含む。ステアリング装置６は車輪の舵角を変えるための装置であり、例えば車輪を転舵するラックアンドピニオン機構と、ラックアンドピニオン機構を駆動する電動モータとを有する。推進装置４、ブレーキ装置５、及びステアリング装置６は、制御装置１５によって制御される。

外界センサ７は車両の周辺の物体等を検出するセンサである。外界センサ７はレーダ１６、ライダ１７（LIDAR：Light Detection and Ranging）及びカメラ１８を含み、検出結果を制御装置１５に出力する。

レーダ１６は、例えば、ミリ波レーダであり、電波により車両の周囲の物体を検知したり、物体との距離を測距したりことが可能である。レーダ１６は車両の周囲に複数設けられており、例えば、レーダ１６は車両の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ライダ１７は、光により車両１の周囲の物体を検知したり、物体との距離を測距したりすることが可能である。ライダ１７は車両の周囲に複数設けられており、例えば、ライダ１７は車両の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。

カメラ１８は車両の周囲を撮像する装置であり、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。カメラ１８は車両の前方を撮像する前方カメラと後方を撮像する後方カメラとを含む。カメラ１８は車両のドアミラー設置場所近傍に設けられ、左右側部後方を撮像する左右一対のドアミラーカメラを含む。

車両センサ８は、車両の速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両の向きを検出する方位センサ等を含む。ヨーレートセンサは、例えばジャイロセンサである。

通信装置９は制御装置１５と操作端末３との間の無線通信を媒介する。すなわち、制御装置１５は通信装置９を介して、例えば赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信方法を用いて、ユーザが所持する操作端末３との通信することが可能である。

ナビゲーション装置１０は車両の現在位置を取得し、目的地への経路案内等を行う装置であり、ＧＰＳ受信部２０、及び地図記憶部２１を有する。ＧＰＳ受信部２０は人工衛星（測位衛星）から受信した信号に基づいて車両の位置（緯度や経度）を特定する。地図記憶部２１は、フラッシュメモリやハードディスク等の記憶装置によって構成され、地図情報を記憶している。

運転操作装置１１は車室内に設けられ、車両を制御するためにユーザが行う入力操作を受け付ける。運転操作装置１１は、運転操作ユニットとして、例えば、ステアリングホイール、アクセルペダル、ブレーキペダル、パーキングブレーキ装置、シフトレバー、及び、プッシュスタートスイッチ（エンジンスタートボタン）を含む。プッシュスタートスイッチはユーザからの運転操作により車両を起動するための入力操作を受け付ける。運転操作装置１１は操作量を検出するセンサを含み、操作量を示す信号を制御装置１５に出力する。

運転者検出センサ１２は運転席に人が着座しているか否かを検知するためのセンサである。運転者検出センサ１２は例えば、運転席の着座面に設けられた着座センサである。着座センサは静電容量式のものであってもよく、運転席に人が着座するとオンになるメンブレンスイッチであってもよい。その他、運転者検出センサ１２は運転席に着座するユーザを撮像する室内カメラであってもよい。また、運転者検出センサ１２は運転席のシートベルトのトングのバックルの差込の有無を取得して、運転席に人が着座しシートベルトを装着していることを検出するセンサであってもよい。運転者検出センサ１２は検出結果を制御装置１５に出力する。

インタフェース装置１３（ＨＭＩ装置）は、制御装置１５とユーザとの間のインタフェース（ＨＭＩ：Human Machine Interface）を提供し、ユーザに対して表示や音声によって各種情報を報知すると共に、ユーザによる入力操作を受け付ける。インタフェース装置１３は、液晶や有機ＥＬ等により構成され、ユーザからの入力操作を受け付け可能なタッチパネルとして機能する表示部２３と、ブザーやスピーカ等の音声発生部２４とを有する。

制御装置１５は、ＣＰＵ、不揮発性メモリ（ＲＯＭ）、及び、揮発性メモリ（ＲＡＭ）等を含む電子制御装置（ＥＣＵ）である。制御装置１５はＣＰＵでプログラムに基づいた演算処理を実行することで、各種の車両制御を実行することが可能である。制御装置１５の各機能部の少なくとも一部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアによって実現されてもよく、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

スマートキー１４（ＦＯＢ）はユーザが携帯可能な無線端末であり、車外から通信装置９を介して制御装置１５と相互に通信可能に構成されている。スマートキー１４はユーザが入力を行うためのボタンを備えており、ユーザはスマートキー１４のボタンを操作することで、ドアの施錠（ドアロック）やドアの解錠（ドアロックの解除）、車両の起動等を行うことができる。

操作端末３はユーザが携帯可能な無線端末であり、車外から通信装置９を介して制御装置１５と相互に通信可能である。本実施形態では、操作端末３は、例えば、スマートフォンなどの携帯型の情報処理装置である。予め所定のアプリケーションが操作端末３にインストールされることによって、操作端末３は制御装置１５と通信可能となる。操作端末３には操作端末３を識別可能な情報（例えば、各操作端末を識別するための所定の数値や文字列等を含む端末ＩＤ）が設定されており、制御装置１５は端末ＩＤに基づいて、操作端末３の認証を行うことが可能である。

操作端末３は、図１に示すように、入出力部３０、撮像部３１、位置検出部３２、及び処理部３３を機能構成として有する。

入出力部３０は操作端末３を操作するユーザに情報を提示すると共に、操作端末３を操作するユーザからの入力を受け付ける。入出力部３０は、例えばタッチパネルとして機能し、入出力部３０はユーザからの入力を受け付けると、入力に対応する信号を処理部３３に出力する。

撮像部３１は、入出力部３０から設定された撮像モードにより、画像（静止画像、動画像）の撮影が可能であり、撮像部３１は、例えば、ＣＭＯＳ等によって構成されたデジタルカメラである。処理部３３は、操作端末３を操作するユーザを撮像した画像に対して所定の画像処理を行うことにより画像の特徴を取得し、予め登録されているユーザの顔画像の特徴と比較してユーザの認証を行うことが可能である。

位置検出部３２は操作端末３の位置情報を取得することが可能なセンサを含む。位置検出部３２は例えば測地衛星（ＧＰＳ衛星）からの信号を受信することにより操作端末３の位置を取得することが可能である。また、位置検出部３２は通信装置９を介して制御装置１５との間で通信することによって、位置検出部３２は車両に対する操作端末３の相対位置を含む位置情報を取得することも可能である。位置検出部３２は取得した位置情報を処理部３３に出力する。

処理部３３は、操作端末３に設定されている端末ＩＤ、入出力部３０からの信号や、位置検出部３２によって取得された位置情報を制御装置１５に送信する。また、制御装置１５からの信号を受信すると、処理部３３は信号を処理し、入出力部３０に操作端末３を操作するユーザに対して情報を提示させる。情報の提示は、例えば入出力部３０への表示によって行われる。

制御装置１５は、操作端末３からの信号に基づいて車両を駆動させることができる。制御装置１５はまた、遠隔で車両を所定の位置に移動させる制御、例えば遠隔駐車を行うことができる。車両の制御を行うため、制御装置１５は少なくとも、起動部４０、外界認識部４１、位置特定部４２、軌道計画部４３、走行制御部４４及び記憶部４５を有する。

起動部４０はプッシュスタートスイッチからの信号に基づいて、スマートキー１４の認証を行い、スマートキー１４が車内にあるかを判定する。スマートキー１４が認証され、且つスマートキー１４が車内にあるときに、起動部４０は推進装置４の駆動を開始する。また、起動部４０は操作端末３から起動を指示する信号を受信すると、操作端末３の認証を行い、認証されたときに車両の駆動を開始する。起動部４０は車両の駆動を開始するときに、推進装置４が内燃機関を含む場合には点火装置（イグニッション）をオンにする。

外界認識部４１は、外界センサ７の検出結果に基づいて、車両の周辺に存在する例えば、駐車車両や壁などの障害物や人物、その他のオブジェクトを認識し、障害物や人物、その他のオブジェクトに関する位置や大きさ等の情報を取得する。また、外界認識部４１はカメラ１８によって取得した画像をパターンマッチング等の画像解析手法に基づいて解析し、障害物や人物、その他のオブジェクトの有無及びその大きさを取得することが可能である。更に、外界認識部４１はレーダ１６、ライダ１７からの信号を用いて障害物や人物までの距離を算出し、障害物や人物の位置を取得することが可能である。

位置特定部４２は、ナビゲーション装置１０のＧＰＳ受信部２０からの信号に基づいて、車両の位置を検出することが可能である。また、位置特定部４２はＧＰＳ受信部２０からの信号に加えて、車両センサ８から車速やヨーレートを取得し、いわゆる慣性航法を用いて車両の位置及び姿勢を特定することも可能である。

外界認識部４１は、外界センサ７の検出結果、より具体的にはカメラ１８によって撮像された画像をパターンマッチング等の画像解析手法に基づいて解析し、例えば、駐車場等の路面に描かれた白線の位置を取得することができる。

走行制御部４４は、軌道計画部４３からの走行制御の指示に基づいて、推進装置４、ブレーキ装置５、及びステアリング装置６を制御し、車両を走行させる。

記憶部４５はＲＡＭ等によって構成され、軌道計画部４３、及び走行制御部４４の処理に要する情報が記憶される。

軌道計画部４３はＨＭＩ装置１３や操作端末３へのユーザからの入力があると、必要に応じて、車両の走行経路となる軌道を算出して、走行制御部４４に走行制御の指示を出力する。

軌道計画部４３は車両が停止された後、ユーザから遠隔操作による駐車アシスト（リモートパーキングアシスト）を希望することに対応する入力があったときに、駐車アシスト処理を行う。

駐車アシスト処理を行う場合に、軌道計画部４３は最初に駐車可能位置の取得を行う取得処理を行う。軌道計画部４３は外界センサ７からの信号に基づいて、障害物の位置及び大きさと、路面に描かれた白線の位置とを取得する。軌道計画部４３は取得した障害物の位置及び大きさと白線とに基づいて、駐車可能なスペース（以下、駐車可能位置）を抽出する。

次に、軌道計画部４３は駐車可能位置から駐車位置を受け付ける駐車位置受付処理を行う。軌道計画部４３は駐車可能位置を少なくとも１つ取得すると、軌道計画部４３は運転を行うユーザに車両を停止させるように指示する通知を表示部２３に表示させる。このとき、軌道計画部４３は運転を行うユーザに車両を停止させた後、シフトレバーをパーキングポジションに変更するように指示することが可能である。

軌道計画部４３は車両の現在地と、駐車可能位置とを表示部２３に表示させる。このとき、軌道計画部４３は表示部２３にカメラ１８によって取得した画像を重ねて表示させることも可能である。その後、軌道計画部４３は表示部２３に、ユーザに駐車可能位置の中から車両を駐車させる位置（駐車位置）として１つを選択するよう通知する表示を行う。ユーザから希望する駐車位置が入力されると、表示部２３は入力された駐車位置に対応する信号を軌道計画部４３に出力する。

このとき、軌道計画部４３はユーザのタッチ位置に基づいて、ユーザから希望する駐車位置を取得する。このとき、軌道計画部４３は、ユーザが前向き駐車及び後向き駐車のいずれかを選択するためのボタンを表示部２３に表示させることが可能である。軌道計画部４３は前向き駐車及び後向き駐車のそれぞれに対応する車両の現在地から駐車位置に至る軌道を算出し、表示部２３に算出した軌道を表示させることも可能である。表示部２３は軌道へのタッチ操作によって前向き駐車又は後向き駐車をユーザが選択できるようにし、選択結果を軌道計画部４３に出力する。

次に、軌道計画部４３は表示部２３からユーザによって入力された駐車位置を受信すると、車両の現在地から駐車位置に至るまでの車両の軌道を算出する軌道算出処理を行う。前向き駐車及び後向き駐車の選択に関するユーザの入力操作を受け付けたときに、軌道計画部４３は車両の現在地及び駐車位置に加え、ユーザからの入力に基づいて軌道を算出することが可能である。

軌道の算出が終わると、軌道計画部４３は表示部２３にユーザに降車を促す通知すると共に、ユーザに操作端末３の遠隔駐車のためのアプリケーションを起動するよう指示する通知を表示させる。これらの通知に従って、ユーザは降車した後、操作端末３のアプリケーションを起動させる。

その後、操作端末３の入出力部３０には、車両への接続実行を行うための入力ボタンが表示される。ユーザが入力ボタンにタッチすると、軌道計画部４３は、処理部３３から送信された端末ＩＤを用いて操作端末３を認証する認証処理を行う。操作端末３の認証が完了すると、入出力部３０に、車両の現在地、軌道、及び駐車位置と、上下方向の矢印が表示される。その後、ユーザは操作端末３に入力を行うことにより、軌道計画部４３に遠隔駐車処理（リモート駐車処理）の実行を指示することができる。遠隔駐車処理には、車両を駐車位置に移動させる移動処理と、車両を駐車位置に駐車させる駐車処理とが含まれる。

ユーザが、操作端末３の入出力部３０に表示された矢印をスワイプすると、操作端末３はスワイプ量に応じた操作量信号を軌道計画部４３に送信する。軌道計画部４３は操作量信号を車両の移動量に換算し、駐車位置に到達するまで車両を軌道に沿って算出された移動量だけ移動させる移動処理を行う。

軌道計画部４３は、移動処理において、車両が駐車位置に到達したかを判定し、駐車位置に到達したと判定したときに、車両を駐車させる駐車処理を行う。駐車処理において、軌道計画部４３はまず、走行制御部４４のブレーキ装置５を駆動する。その後、軌道計画部４３は走行制御部４４のパーキングブレーキを駆動させる。車両の停止が完了すると軌道計画部４３は操作端末３に駐車が完了したことを示す駐車完了通知を送信する。

操作端末３は駐車完了通知を受信すると、操作端末３の入出力部３０に駐車が完了した旨の通知を表示させ、操作端末３のアプリケーションを終了させる。これにより、駐車アシスト処理が完了する。

＜処理＞
続いて、図２及び図３のフローチャートを参照しながら、本実施形態に係る車両制御装置（制御装置１５）が実施する処理の手順を説明する。本実施形態では、遠隔操作端末（操作端末３）を保持するユーザ（操作者）が車両から降車し、車両から離れた位置から操作端末３を操作して車両の移動指示を送って、例えば遠隔での自動駐車制御を実行する状況を想定する。まず、図２のフローチャートを参照しながら、本実施形態に係る車両制御装置が実施する処理全体の手順を説明する。

Ｓ２０１において、車両システム２の制御装置１５は、カメラ１８により撮像された画像を取得する。

Ｓ２０２において、制御装置１５は、撮像画像から操作端末３の操作者を検出する処理を行う。例えば画像認識により画像中から操作者を検出することができる。

Ｓ２０３において、制御装置１５は、車両に対する操作端末３の位置を検出する。例えば、制御装置１５は、操作端末３の位置情報を操作端末３から受信することにより操作端末３の位置を検出することができる。

Ｓ２０４において、制御装置１５は、操作者の検出結果と、操作端末３の検出結果とに基づいて、車両の遠隔制御の作動の可否を制御する。Ｓ２０４の処理の詳細は図３を参照して後述する。以上で図２の処理が終了する。

なお、Ｓ２０３において、制御装置１５は、車両の周囲に複数配置されたＢｌｕｅｔｏｏｔｈ（登録商標）アンテナユニットに対して操作端末３から送信された信号を受信し、その信号の到来角度を測定することにより、操作端末３の位置を検出してもよい。

ここで、図４乃至図６を参照して、Ｂｌｕｅｔｏｏｔｈアンテナユニットを用いた操作端末３の位置検出方法の一例を説明する。

図４に示されるように、車両の周囲（周縁部）には複数のＢｌｕｅｔｏｏｔｈアンテナユニット４０１～４０６が配置されている。なお、Ｂｌｕｅｔｏｏｔｈアンテナユニットの数は図示の例に限定されるものではない。Ｂｌｕｅｔｏｏｔｈアンテナユニット４０１～４０６の各々には、複数のアンテナ４５１及び４５２、Ｂｌｕｅｔｏｏｔｈ通信ＩＣ４５３、及びＣＰＵ４５４が基板上に配置されて内蔵されている。

Ｂｌｕｅｔｏｏｔｈ通信ＩＣ４５３は、操作端末３から送信された信号がアンテナ４５１及びアンテナ４５２で受信されたときの位相差（電圧変動・時間差）を測定する。そして、ＣＰＵ４５４が、その位相差（時間差）に基づいて信号の到来角度を算出する。算出された到来角度の情報は、制御装置１５へ送信されて集約される。各Ｂｌｕｅｔｏｏｔｈアンテナユニット間の距離は既知でるため、各Ｂｌｕｅｔｏｏｔｈアンテナユニットにおいて算出した到来角度（例えばＢｌｕｅｔｏｏｔｈアンテナユニット４０１に対する到来角度θ１、Ｂｌｕｅｔｏｏｔｈアンテナユニット４０２に対する到来角度θ２）の情報を用いて、操作端末３の位置（方向及び距離）を算出することができる。

図５（ａ）は、操作端末３がＢｌｕｅｔｏｏｔｈアンテナユニットの正面に存在する場合の例を示す図である。図５（ｂ）に示されるように、操作端末３がＢｌｕｅｔｏｏｔｈアンテナユニットの正面に存在する場合には、Ｂｌｕｅｔｏｏｔｈアンテナユニットが備えるアンテナ４５１及び４５２のそれぞれで受信される信号間の位相差はほとんどない。すなわち、波形に時間差がないので、到来角度はほぼ９０度であることを算出できる。

一方、図６（ａ）は、操作端末３がＢｌｕｅｔｏｏｔｈアンテナユニットから見て角度（例えば約４５度）を持った方向に存在する場合の例を示す図である。図６（ｂ）に示されるように、操作端末３がＢｌｕｅｔｏｏｔｈアンテナユニットに対して角度を持った方向に存在する場合には、Ｂｌｕｅｔｏｏｔｈアンテナユニットが備えるアンテナ４５１及び４５２のそれぞれで受信される信号間の位相差６００が検出される。この時間差に基づいて、到来角度を算出することができる。

続いて、図３のフローチャートを参照しながら、図２のＳ２０４の処理の詳細な手順を説明する。Ｓ２０４１において、制御装置１５は、図２のＳ２０２において撮像画像から操作者が検出されたか否かを判定する。操作者が検出されている場合、Ｓ２０４２へ進む。一方、操作者が検出されていない場合、Ｓ２０４４へ進む。

Ｓ２０４２において、制御装置１５は、撮像画像を解析し、検出された操作者の存在する方向及び距離を算出することにより、操作者の位置を推定する。例えば距離画像を取得することで操作者として認識されたオブジェクトまでの距離を算出することができ、また画像中心に対する操作者の画像上の位置に基づいて方向を算出することができる。

Ｓ２０４３において、Ｓ２０４２で推定された操作者の位置と、Ｓ２０３で検出された操作端末３の位置とが所定距離以上離れているか否かを判定する。操作者の位置と、操作端末３の位置とがある程度離れている場合は、操作者が操作端末３を保持しておらず車両監視を行っていない可能性があると判断できる。所定距離以上離れていると判定された場合、Ｓ２０４４へ進む。一方、所定距離以上離れていないと判定された場合、Ｓ２０４６へ進む。

Ｓ２０４４において、制御装置１５は、操作端末３を介した遠隔制御の作動を禁止する。例えばＳ２０４１がＮｏである場合、操作者が車両を監視できる位置にいないと考えられる。あるいは、例えば、操作端末３を保持しながら車両の周囲にはいるものの、操作者と車両との間に柱などが存在し、操作者が柱の陰に隠れてしまうような状況が考えられる。あるいは、たとえ操作者が画像から検出された場合であっても、操作者と操作端末３とが離れた位置にあるような場合にも、操作者が車両監視を行っていないと考えられる。そこで、そのような場合に遠隔制御の作動を禁止し、安全性を確保する。

Ｓ２０４５において、制御装置１５は、遠隔制御の作動が禁止された禁止状態になっていることを示す情報を操作端末３へ送信するとともに、禁止状態から復帰させるための復帰ガイドを操作端末３に報知させる。ここでいう復帰ガイドとは、例えば、「車両を監視できる位置に移動してください」といったメッセージ又は音声、「操作端末３を所持しながら遠隔制御を行ってください」といったメッセージ又は音声などである。その後、Ｓ２０４１に戻る。操作者は復帰ガイドに従った動作を実行し、遠隔制御の作動が許可されるかどうかが改めて判定されることになる。

Ｓ２０４６において、制御装置１５は、操作端末３を介した遠隔制御の作動を許可する。すなわち、操作者により車両監視が行われていると考えられるので、遠隔制御の実行継続又は再開させる。

Ｓ２０４７において、制御装置１５は、操作端末３を介した車両の移動（例えば遠隔駐車）が完了したか否かを判定する。完了したと判定された場合、処理を終了する。一方、完了していないと判定された場合、Ｓ２０４１に戻って一連の処理を継続する。これにより、遠隔制御を行っている途中で車両監視を怠ったような場合に、遠隔制御の作動を一時的に禁止することができるので、より安全な車両の遠隔制御を実現することが可能となる。

以上説明したように、本実施形態では、操作者の検出結果と、遠隔操作端末の検出結果とを考慮して、操作端末を介した車両の遠隔制御の作動の可否を制御する。これにより、車両監視を行っていないと考えられるような状況下で、遠隔制御が実施されることを抑制することができる。従って、車両の遠隔制御の安全性を向上させることができる。

[変形例]
上記実施形態では、Ｓ２０４３において、操作者の位置と、操作端末３の位置との距離を用いて判定を行ったが、この例に限定されない。例えば、車両と操作者との距離と、車両と操作端末３との距離とをそれぞれ算出し、当該距離の差が所定値以上であるか否かを判定し、距離の差が所定値以上である場合に、遠隔制御の作動を禁止するようにしてもよい。

また、上記実施形態では、Ｓ２０４１において、画像認識により操作者を検出する例を説明したが、この例に限定されない。例えば、操作端末３に設けられている発光部を用いて、操作端末３に所定の発光パターンで発光させる。そして、制御装置１５が画像（動画像）を解析して、所定の発光パターンでの発光を検出する。このように、所定の発光パターンが検出された場合に操作者が検出されたものと判断するようにしてもよい。

所定の発光パターンは、例えば所定の点滅・点灯の周期での発光パターンである。発光部のオン／オフを切り替えて制御することで、発光パターンを生成することができる。この所定の発光パターンが検出されたことでもって、特定の操作者が所持する操作端末３であることを検出できる。このような場合、撮像画像（動画像）中に操作端末３が検出されているので、それを所持している人物が車両監視を行っているものと推測できる。なお、この場合、操作者の位置と、操作端末３の位置とはほぼ一致することになるので、遠隔制御は許可されることになる。そして、所定の発光パターンを検出する場合、遠隔制御が禁止された後の復帰ガイドとして、例えば「車両に発光部を向けてください」といったメッセージ又は音声での復帰ガイドを報知してもよい。

また、操作者の検出は行わず、撮像画像（動画像）から所望の操作端末３（すなわち、所定の発光パターンで発光している操作端末）の検出を行い、その検出結果に基づいて遠隔制御の作動を制御してもよい。すなわち、所定の発光パターンで発光している操作端末３が検出されていれば、その所持者である操作者は車両を監視可能な位置にいるものと判断して、遠隔制御の作動を許可してもよい。そして、反対に、所定の発光パターンで発光している操作端末３が検出されていない場合（あるいは当初は検出されていたとしても途中で検出されなくなった場合）には、操作者が車両を監視していない可能性があると判断して、遠隔制御の作動を禁止してもよい。その後、復帰ガイドを操作端末３に表示させ、操作者が場所を移動したり、操作端末の発光部を車両に向けたりした結果、所定の発光パターンが検出された場合に、遠隔制御の作動を許可（又は再開）するようにしてもよい。このように、所定の発光パターンを検出できる場合に、その操作端末３を所持する操作者が車両を監視できる状態にあるものと判断することで、操作端末３自体の位置を検出することなく、車両の遠隔制御の安全性を向上させることができる。

また、上記実施形態では、操作者の位置と、操作端末３の位置とを比較する例を説明したが、この例に限定されない。たとえば、操作者が存在する方向と、操作端末３が存在する方向とを比較し、方向が所定角度以上異なっている場合に、操作者と操作端末３とが離れている、すなわち車両監視を怠っている可能性があると判定してもよい。

また、各実施形態で説明された１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける１以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。

＜実施形態のまとめ＞
１．上記実施形態の車両制御装置（例えば１５）は、
車両の外部の遠隔操作端末（例えば３）からの指示を介して前記車両の移動を制御する車両制御装置であって、
前記車両の周囲を撮像する撮像手段（例えば１８）により撮像された画像を取得する取得手段（例えば４１、４４）と、
前記取得手段により取得された画像に基づいて前記遠隔操作端末の操作者を検出する操作者検出手段（例えば４１、４４）と、
前記車両に対する前記遠隔操作端末の位置を検出する端末検出手段（例えば４４）と、
前記操作者検出手段による検出結果と、前記端末検出手段による検出結果とに基づいて、前記遠隔操作端末を介した前記車両の遠隔制御の作動の可否を制御する制御手段（例えば４４）と、
を備える。

この実施形態によれば、遠隔操作端末や操作者の検出状況に応じて車両の遠隔制御の作動の可否が制御されることから、それらの状況に応じて車両の遠隔制御の作動を禁止したり、許可したりすることが可能となる。そのため、遠隔制御を作動すべきではない状況下で遠隔制御が実施されてしまうことを抑制することができる。

２．上記実施形態の車両制御装置では、
前記制御手段は、前記操作者検出手段により前記操作者が検出されなかった場合、前記作動を禁止する。

この実施形態によれば、遠隔操作端末の操作者が車両の周辺におらず、車両監視を怠っている可能性がある場合に遠隔制御の作動を禁止するため、より安全性を向上させることが可能となる。

３．上記実施形態の車両制御装置は、
前記操作者検出手段による検出結果に基づいて、前記画像から検出された前記操作者が存在する位置を推定する位置推定手段（例えば４１、４４）をさらに備え、
前記制御手段は、前記位置推定手段により推定された前記操作者の位置と、前記端末検出手段により検出された前記遠隔操作端末の位置とに基づいて、前記作動の可否を制御する。

この実施形態によれば、操作者の位置と遠隔操作端末の位置とを考慮して、遠隔制御の作動の可否を制御することが可能となる。

４．上記実施形態の車両制御装置では、
前記制御手段は、前記操作者の位置と、前記遠隔操作端末の位置とが所定距離以上離れている場合に、前記作動を禁止する。

この実施形態によれば、操作者が遠隔操作端末から離れている場合には、車両監視を怠っている可能性があることから、そのような場合に遠隔制御の作動を禁止することで、より安全性を向上させることが可能となる。

５．上記実施形態の車両制御装置では、
前記制御手段は、前記車両と前記操作者との距離と、前記車両と前記遠隔操作端末との距離とを算出し、当該距離の差が所定値以上である場合に、前記作動を禁止する。

６．上記実施形態の車両制御装置では、
前記操作者検出手段は、画像認識により前記画像中の前記操作者を検出する。

この実施形態によれば、検出結果に応じて、遠隔操作端末の所持者が車両を監視できる位置にいるかどうかを認識することができる。

７．上記実施形態の車両制御装置は、
前記遠隔操作端末は発光手段を備えており、
前記操作者検出手段は、前記画像における前記遠隔操作端末の前記発光手段の発光を検知することにより前記操作者を検出する。

この実施形態によれば、車両からの距離が遠い位置に操作者が存在しており、画像認識により操作者を認識することが難しい場合であっても、遠隔操作端末を保持している操作者の存在を認識することが可能となる。

８．上記実施形態の車両制御装置では、
前記制御手段は、所定の発光パターンの発光が検出されていない場合、前記作動を禁止する。

この実施形態によれば、他の車両を遠隔操作する他の操作者が所持する遠隔操作端末の発光が検出された場合に、本来検出したい操作者の遠隔操作端末とそれ以外の遠隔操作端末とを区別することができる。従って、誤認識に基づく遠隔制御の誤った実行を防止することが可能となる。

９．上記実施形態の車両制御装置では、
前記制御手段は、前記作動が禁止された場合、禁止状態から復帰させるための復帰ガイドを前記遠隔操作端末に表示させる。

この実施形態によれば、車両監視を行うことが可能な状況になるように操作者を誘導することが可能となる。

１０．上記実施形態の車両制御装置では、
前記車両の遠隔制御は、遠隔駐車制御である。

この実施形態によれば、遠隔操作端末を使用した遠隔駐車をより安全に実行することが可能となる。

１１．上記実施形態の車両制御装置は、
車両の外部の遠隔操作端末（例えば３）からの指示を介して前記車両の移動を制御する車両制御装置（例えば１５）であって、
前記車両の周囲を撮像する撮像手段（例えば１８）により撮像された画像を取得する取得手段（例えば４１、４４）と、
前記取得手段により取得された画像に基づいて前記遠隔操作端末を検出する検出手段（例えば４１、４４）と、
前記検出手段による検出結果に基づいて、前記遠隔操作端末を介した前記車両の遠隔制御の作動の可否を制御する制御手段（例えば４４）と、
を備える。

この実施形態によれば、遠隔操作端末の検出状況に応じて車両の遠隔制御の作動の可否が制御されることから、その状況に応じて車両の遠隔制御の作動を禁止したり、許可したりすることが可能となる。そのため、遠隔制御を作動すべきではない状況下で遠隔制御が実施されてしまうことを抑制することができる。

１２．上記実施形態の車両制御装置では、
前記検出手段は、前記遠隔操作端末が所定の発光パターンで発光していることが検出されない場合、前記作動を禁止する。

１３．上記実施形態の車両は、
上記実施形態の車両制御装置（例えば１５）を備える車両である。

この実施形態によれば、車両制御装置が実施する処理を車両で実現できる。

１４．上記実施形態の車両制御装置の動作方法は、
車両の外部の遠隔操作端末（例えば３）からの指示を介して前記車両の移動を制御する車両制御装置（例えば１５）の動作方法であって、
前記車両の周囲を撮像する撮像手段（例えば１８）により撮像された画像を取得する取得工程（例えばＳ２０１）と、
前記取得工程により取得された画像に基づいて前記遠隔操作端末の操作者を検出する操作者検出工程（例えばＳ２０２）と、
前記車両に対する前記遠隔操作端末の位置を検出する端末検出工程（例えばＳ２０３）と、
前記操作者検出工程による検出結果と、前記端末検出工程による検出結果とに基づいて、前記遠隔操作端末を介した前記車両の遠隔制御の作動の可否を制御する制御工程（例えばＳ２０４）と、
を有する。

１５．上記実施形態の車両制御装置の動作方法は、
車両の外部の遠隔操作端末（例えば３）からの指示を介して前記車両の移動を制御する車両制御装置の動作方法であって、
前記車両の周囲を撮像する撮像手段（例えば１８）により撮像された画像を取得する取得工程と、
前記取得工程により取得された画像に基づいて前記遠隔操作端末を検出する検出工程と、
前記検出工程による検出結果に基づいて、前記遠隔操作端末を介した前記車両の遠隔制御の作動の可否を制御する制御工程と、
を有する。

１６．上記実施形態のプログラムは、
コンピュータを、上記実施形態の車両制御装置（例えば１５）として機能させるためのプログラムである。

この実施形態によれば、本発明の内容をコンピュータにより実現することが可能となる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

３：操作端末、７：外界センサ、９：通信装置、１８：カメラ、３２：位置検出部、３３：処理部、１５：制御装置、４１：外界認識部、４３：軌道計画部、４４：走行制御部、４５：記憶部

Claims

車両の外部の遠隔操作端末からの指示を介して前記車両の移動を制御する車両制御装置であって、
前記車両の周囲を撮像する撮像手段により撮像された画像を取得する取得手段と、
前記取得手段により取得された画像に基づいて前記遠隔操作端末の操作者を検出する操作者検出手段と、
前記操作者検出手段による検出結果に基づいて、前記画像から検出された前記操作者が存在する位置を推定する位置推定手段と、
前記車両に対する前記遠隔操作端末の位置を検出する端末検出手段と、
前記車両と前記操作者との距離と、前記車両と前記遠隔操作端末との距離との差に基づいて、前記遠隔操作端末を介した前記車両の遠隔制御の作動の可否を制御する制御手段と、
を備えることを特徴とする車両制御装置。
前記制御手段は、前記操作者検出手段により前記操作者が検出されなかった場合、前記作動を禁止することを特徴とする請求項１に記載の車両制御装置。
前記制御手段は、前記操作者の位置と、前記遠隔操作端末の位置とが所定距離以上離れている場合に、前記作動を禁止することを特徴とする請求項１又は２に記載の車両制御装置。
前記制御手段は、前記差が所定値以上である場合に、前記作動を禁止することを特徴とする請求項１乃至３の何れか１項に記載の車両制御装置。
前記操作者検出手段は、画像認識により前記画像中の前記操作者を検出することを特徴とする請求項１乃至４の何れか１項に記載の車両制御装置。
前記遠隔操作端末は発光手段を備えており、
前記操作者検出手段は、前記画像における前記遠隔操作端末の前記発光手段の発光を検知することにより前記操作者を検出することを特徴とする請求項１又は２に記載の車両制御装置。
前記制御手段は、所定の発光パターンの発光が検出されていない場合、前記作動を禁止することを特徴とする請求項６に記載の車両制御装置。
前記制御手段は、前記作動が禁止された場合、禁止状態から復帰させるための復帰ガイドを前記遠隔操作端末に表示させることを特徴とする請求項１乃至７の何れか１項に記載の車両制御装置。
前記車両の遠隔制御は、遠隔駐車制御であることを特徴とする請求項１乃至８の何れか１項に記載の車両制御装置。
請求項１乃至９の何れか１項に記載の車両制御装置を備えることを特徴とする車両。
車両の外部の遠隔操作端末からの指示を介して前記車両の移動を制御する車両制御装置の動作方法であって、
前記車両の周囲を撮像する撮像手段により撮像された画像を取得する取得工程と、
前記取得工程により取得された画像に基づいて前記遠隔操作端末の操作者を検出する操作者検出工程と、
前記操作者検出工程による検出結果に基づいて、前記画像から検出された前記操作者が存在する位置を推定する位置推定工程と、
前記車両に対する前記遠隔操作端末の位置を検出する端末検出工程と、
前記車両と前記操作者との距離と、前記車両と前記遠隔操作端末との距離との差に基づいて、前記遠隔操作端末を介した前記車両の遠隔制御の作動の可否を制御する制御工程と、
を有することを特徴とする車両制御装置の動作方法。
コンピュータを、請求項１乃至９の何れか１項に記載の車両制御装置として機能させるためのプログラム。