JP7269069B2 - 車両制御システム - Google Patents

Description

本開示は、端末からの遠隔操作によって駐車するための車両制御システムに関する。

ユーザが無線端末からの車両の遠隔操作を行って、駐車を実行することのできる車両制御装置が公知である（例えば、特許文献１）。無線端末には遠隔操作ボタンが設けられている。ユーザが遠隔操作ボタンを押している間、車両は予め設定された軌道に沿って移動する。

特許第５７０４１７８号公報

車両を遠隔操作によって移動させるときには、ユーザに車両の移動を監視させることが望ましい。しかしながら、特許文献１の車両制御装置では、遠隔操作ボタンを押している間、ユーザは遠隔操作ボタンを注視するため、ユーザが車両の移動を監視しなくなる虞がある。

本発明は、以上の背景を鑑み、端末からの遠隔操作によって車両を制御して駐車させる車両制御システムにおいて、車両移動時に車両を監視するようにユーザを誘導することを課題とする。

上記課題を解決するために本発明のある態様は、車両制御システム（１、１０１、２０１）であって、ユーザからの操作入力を受け付けると共に、前記ユーザへの通知を表示する出入力部（３０）、及び前記操作入力を行う前記ユーザを監視する操作者監視部（３１）を備えた端末（３）と、前記ユーザの前記操作入力に基づいて、車両を移動させて駐車させるリモート駐車処理を実行する制御装置（１５）とを有し、前記制御装置は、前記リモート駐車処理において、前記操作者監視部において取得された監視情報に基づいて前記ユーザの視線の向き（ｖ）を取得し、前記ユーザの視線が前記端末に向かっていると判定した場合には、前記車両の移動を禁止することを特徴とする。

この構成によれば、ユーザが端末を注視して車両を監視していないときに、車両の移動が禁止される。これにより、車両移動時に端末を注視することなく、車両を監視するようにユーザを誘導することができる。

上記の態様において、前記制御装置は、前記リモート駐車処理において、前記端末への前記操作入力を受け付けた後に所定の受付時間内に、前記操作者監視部において前記ユーザの視線が前記車両に向かっていると判定した場合には、前記車両の移動を許可するとよい。

この構成によれば、ユーザが端末を見ながら操作入力をした後、所定の受付時間内に車両を監視すると、車両が移動する。これにより、ユーザは操作入力すると同時に車両を監視することなく車両を移動させることができる。よって、車両制御システムの利便性が向上する。

上記の態様において、前記制御装置は、前記リモート駐車処理において、前記端末への前記操作入力を受け付けた後、前記受付時間よりも短い所定の通知時間内に前記操作者監視部において前記ユーザの視線が前記車両に向かっていると判定されない場合には、前記出入力部に前記ユーザに視線を前記車両に向けるように前記ユーザに促す通知を行わせるとよい。

この構成によれば、ユーザが通知に従って車両の監視を行うと、車両が移動する。これにより、ユーザが車両の監視をすべきことを容易に理解することができるため、車両制御システムの利便性が向上する。

上記の態様において、前記制御装置は、前記リモート駐車処理において、前記操作者監視部において前記ユーザの視線が前記端末に向かっていない場合に、前記ユーザの視線が前記車両に向かっていると判定するとよい。

この構成によれば、より簡素な構成によって、ユーザが車両を監視しているか否かを容易に判定することができる。

上記の態様において、前記操作者監視部は前記操作入力を行う前記ユーザの顔部分を撮像し、前記制御装置は前記操作者監視部によって撮像された画像に基づいて、前記ユーザの視線の向きを取得するとよい。

この構成によれば、車両から撮像された画像に基づいてユーザの視線の向きを取得する場合に比べて、ユーザをより近い位置で撮像された画像に基づいてユーザの視線の向きを取得することができる。これにより、ユーザの視線の向きをより確実に取得することができる。

上記の態様において、前記操作者監視部は前記操作入力を行う前記ユーザの顔部分を撮像し、前記端末及び前記制御装置はそれぞれ、それぞれの位置を特定する位置特定部（２０、３２）を有し、前記制御装置は前記操作者監視部によって撮像された画像に基づいて、前記ユーザの視線の向き（ｖ）を取得し、前記端末の位置及び前記制御装置の位置から前記端末から前記制御装置への向き（ｐ）を取得し、前記ユーザの視線の向きと、前記端末から前記制御装置への向きとのなす角度が所定値以下であるときに、前記ユーザの視線が前記車両に向かっていると判定するとよい。

この構成によれば、より簡素な構成によって、ユーザが車両を監視しているか否かを容易に判定することができる。

以上の構成によれば、端末からの遠隔操作によって車両を制御して駐車させる車両制御システムにおいて、車両移動時に車両を監視するようにユーザを誘導することができる。

車両制御システムが搭載される車両の機能構成図 （Ａ）車両に設けられるソナー及びその検出域と、（Ｂ）ドアミラーカメラ及びその撮像域とを示す模式図 駐車アシスト処理のタイムチャート リモート駐車処理のフローチャート 操作端末の姿勢検出方法を説明するための説明図 （Ａ）入力画面、及び、（Ｂ）アラート画面を説明するための説明図 操作者の視線方向の取得方法を説明するための説明図 第２実施形態に係るリモート駐車処理のフローチャート 第３実施形態に係るリモート駐車処理のフローチャート 操作者の視線方向の取得方法を説明するための説明図

以下、図面を参照して、本発明に係る車両制御システムの実施形態について説明する。

＜＜第１実施形態＞＞
図１に示すように、車両制御システム１は車両に搭載された車両システム２と、少なくとも１つの操作端末３とを含む。車両システム２は、推進装置４、ブレーキ装置５、ステアリング装置６、外界センサ７、車両センサ８、通信装置９、ナビゲーション装置１０、運転操作装置１１、運転者検出センサ１２、ＨＭＩ１３、スマートキー１４、及び制御装置１５を有している。車両システム２の各構成は、ＣＡＮ１６（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信手段によって信号伝達可能に互いに接続されている。

推進装置４は車両に駆動力を付与する装置であり、例えば動力源及び変速機を含む。動力源はガソリンエンジンやディーゼルエンジン等の内燃機関及び電動機の少なくとも一方を有する。ブレーキ装置５は車両に制動力を付与する装置であり、例えばブレーキロータにパッドを押し付けるブレーキキャリパと、ブレーキキャリパに油圧を供給する電動シリンダとを含む。ブレーキ装置５はワイヤケーブルによって車輪の回転を規制するパーキングブレーキ装置を含んでもよい。ステアリング装置６は車輪の舵角を変えるための装置であり、例えば車輪を転舵するラックアンドピニオン機構と、ラックアンドピニオン機構を駆動する電動モータとを有する。推進装置４、ブレーキ装置５、及びステアリング装置６は、制御装置１５によって制御される。

外界センサ７は車両の周辺からの電磁波や音波等を捉えて、車外の物体等を検出するセンサである。外界センサ７はソナー１７及び車外カメラ１８を含んでいる。外界センサ７はミリ波レーダやレーザライダを含んでいてもよい。外界センサ７は検出結果を制御装置１５に出力する。

ソナー１７はいわゆる超音波センサであり、超音波を車両の周囲に発射し、その反射波を捉えることにより物体の位置（距離及び方向）を検出する。ソナー１７は車両の後部及び前部にそれぞれ複数設けられている。本実施形態では、ソナー１７はリアバンパに左右２対、フロントバンパに左右２対、車両の左右側面前端及び後端にそれぞれ１対ずつ、合計６対設けられている。図２（Ａ）には各ソナー１７の検出域が着色されて示されている。リアバンパに設けられたソナー１７は主に車両の後方にある物体の位置を検出し、フロントバンパに設けられたソナー１７は主に車両の前方にある物体の位置を検出する。車両の左右側面前端に設けられたソナー１７はそれぞれ車両前端の左右外方にある物体の位置を検出し、車両の左右側面後端に設けられたソナー１７はそれぞれ車両後端の左右外方にある物体の位置を検出する。

車外カメラ１８は車両の周囲を撮像する装置であり、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。車外カメラ１８は車両の前方を撮像する前方カメラと後方を撮像する後方カメラとを含んでいる。車外カメラ１８は車両のドアミラー設置場所近傍に設けられ、左右側部後方を撮像する左右一対のドアミラーカメラを含んでいるとよい。図２（Ｂ）には、各ミラーカメラの検出域が着色されて示されている。車外カメラ１８は車両のセンタピラー（Ｂピラー）に設けられ、車両の左右外方を撮像する左右一対のピラーカメラを含んでいてもよい。

車両センサ８は、車両の速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両の向きを検出する方位センサ等を含む。ヨーレートセンサは、例えばジャイロセンサである。

通信装置９は制御装置１５と操作端末３との間の無線通信を媒介する。すなわち、制御装置１５は通信装置９を介して、例えば赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の公知の通信方法を用いて、ユーザが所持する操作端末３との通信することができる。

ナビゲーション装置１０は車両の現在位置を取得し、目的地への経路案内等を行う装置であり、ＧＰＳ受信部２０、及び地図記憶部２１を有する。ＧＰＳ受信部２０は人工衛星（測位衛星）から受信した信号に基づいて車両の位置（緯度や経度）を特定する。地図記憶部２１は、フラッシュメモリやハードディスク等の公知の記憶装置によって構成され、地図情報を記憶している。

運転操作装置１１は車室内に設けられ、車両を制御するためにユーザが行う入力操作を受け付ける。運転操作装置１１は、ステアリングホイール、アクセルペダル、ブレーキペダル、シフトレバー、及び、プッシュスタートスイッチ（エンジンスタートボタン）を含む。プッシュスタートスイッチはユーザから車両を起動するための入力操作を受け付ける。運転操作装置１１は更に、パーキングブレーキ装置を含んでいてもよい。各運転操作装置１１は操作量を検出するセンサを含む。運転操作装置１１は操作量を示す信号を制御装置１５に出力する。

運転者検出センサ１２は運転席に人が着座しているか否かを検知するためのセンサである。運転者検出センサ１２は例えば、運転席の着座面に設けられた着座センサである。着座センサは静電容量式のものであってもよく、運転席に人が着座するとオンになるメンブレンスイッチであってもよい。その他、運転者検出センサ１２は運転席に着座するユーザを撮像する室内カメラであってもよい。また、運転者検出センサ１２は運転席のシートベルトのトングのバックルの差込の有無を取得して、運転席に人が着座しシートベルトを装着していることを検出するセンサであってもよい。運転者検出センサ１２は検出結果を制御装置１５に出力する。

ＨＭＩ１３は、ユーザに対して表示や音声によって各種情報を報知すると共に、ユーザによる入力操作を受け付ける。ＨＭＩ１３は、例えば、液晶や有機ＥＬ等を含み、ユーザからの入力操作を受け付けるタッチパネル２３と、ブザーやスピーカ等の音発生装置２４とを含む。

制御装置１５は、ＣＰＵ、不揮発性メモリ（ＲＯＭ）、及び、揮発性メモリ（ＲＡＭ）等を含む電子制御装置（ＥＣＵ）である。制御装置１５はＣＰＵでプログラムに沿った演算処理を実行することで、各種の車両制御を実行する。制御装置１５は１つのハードウェアとして構成されていてもよく、複数のハードウェアからなるユニットとして構成されていてもよい。また、制御装置１５の各機能部の少なくとも一部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェアによって実現されてもよく、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

スマートキー１４（ＦＯＢ）はユーザが携帯可能な公知の無線端末であり、車外から通信装置９を介して制御装置１５と相互に通信可能である。スマートキー１４（ＦＯＢ）はユーザが入力を行うためのボタンを備えている。ユーザはスマートキー１４のボタンを操作することで、ドアロックの解除や車両の起動を行うことができる。

操作端末３はユーザが携帯可能な無線端末であり、車外から通信装置９を介して制御装置１５と相互に通信可能である。本実施形態では、操作端末３はスマートフォンである。
操作端末３には予め所定のアプリケーションがインストールされることによって、制御装置１５と通信可能となっている。各操作端末３にはそれぞれを特定するための所定の数値である端末ＩＤが付与されている。

操作端末３は図１に示すように、出入力部３０、操作者監視部３１、位置検出部３２、及び処理部３３を備えている。

出入力部３０は操作端末３を操作するユーザに情報を提示すると共に、操作端末３を操作するユーザからの入力を受け付ける。出入力部３０は例えばタッチパネルである。出入力部３０はユーザからの入力を受け付けると、入力に対応する信号を処理部３３に出力する。

操作者監視部３１は操作端末３を操作するユーザを撮像する装置であり、例えば、ＣＭＯＳ等によって構成されたデジタルカメラである。操作者監視部３１は出入力部３０に対して入力を行うユーザの目を含む顔部分を撮像可能な位置に設けられている。

位置検出部３２は操作端末３の位置情報を取得する。位置検出部３２は例えば測地衛星（ＧＰＳ衛星）からの信号を受信することにより操作端末３の位置を取得するとよい。また、位置検出部３２は通信装置９を介して制御装置１５との通信することによって、位置検出部３２が操作端末３の車両に対する相対位置を含む情報を取得するように構成してもよい。位置検出部３２は取得した位置情報を処理部３３に出力する。

処理部３３は出入力部３０からの信号や、操作者監視部３１で取得されたユーザの画像、位置検出部３２によって取得された位置情報を制御装置１５に送信する。また、制御装置１５からの信号を受信すると、処理部３３は信号を処理し、出入力部３０に操作端末３を操作するユーザに対して情報を提示させる。情報の提示は、例えば出入力部３０への表示によって行われるとよい。

制御装置１５は、操作端末３からの信号に基づいて車両を駆動させることができる。制御装置１５はまた、車両を所定の位置に移動させて遠隔駐車を行うことができる。このときの車両の制御を行うため、制御装置１５は少なくとも、起動部４０、外界認識部４１、自車位置特定部４２、行動計画部４３、走行制御部４４及び記憶部４５を有する。

起動部４０はプッシュスタートスイッチからの信号に基づいて、スマートキー１４の認証を行い、スマートキー１４が車内にあるかを判定する。スマートキー１４が認証され、且つスマートキー１４が車内にあるときに、起動部４０は推進装置４の駆動を開始する。また、起動部４０は操作端末３から起動を指示する信号を受信すると、操作端末３の認証を行い、認証されたときに車両の駆動を開始する。起動部４０は車両の駆動を開始するときに、推進装置４が内燃機関を含む場合には点火装置（イグニッション）をオンにする。

外界認識部４１は、外界センサ７の検出結果に基づいて、車両の周辺に存在する例えば、駐車車両や壁などの障害物を認識し、障害物に関する位置や大きさ等の情報を取得する。また、外界認識部４１は車外カメラ１８によって取得した画像をパターンマッチング等の公知の画像解析手法に基づいて解析し、障害物の有無及びその大きさを取得する。更に、外界認識部４１はソナー１７からの信号を用いて障害物までの距離を算出し、障害物の位置を取得するとよい。

自車位置特定部４２は、ナビゲーション装置１０のＧＰＳ受信部２０からの信号に基づいて、車両の位置を検出する。また、自車位置特定部４２はＧＰＳ受信部２０からの信号に加えて、車両センサ８から車速やヨーレートを取得し、いわゆる慣性航法を用いて車両の位置及び姿勢を特定してもよい。

外界認識部４１は、外界センサ７の検出結果、より具体的には車外カメラ１８によって撮像された画像をパターンマッチング等の公知の画像解析手法に基づいて解析し、例えば、駐車場等の路面に描かれた白線の位置を取得することができる。

走行制御部４４は、行動計画部４３からの走行制御の指示に基づいて、推進装置４、ブレーキ装置５、及びステアリング装置６を制御し、車両を走行させる。

記憶部４５はＲＡＭ等によって構成され、行動計画部４３、及び走行制御部４４の処理に要する情報が記憶される。

行動計画部４３はＨＭＩ１３や操作端末３へのユーザからの入力があると、必要に応じて、車両の走行経路となる軌道を算出して、走行制御部４４に走行制御の指示を出力する。

行動計画部４３は車両が停止された後、ユーザから遠隔操作による駐車アシストを希望することに対応する入力があったときに、駐車アシスト処理を行う。以下では、駐車アシスト処理について図３のタイムチャートを参照して説明を行う。

行動計画部４３は最初に駐車可能位置の取得を行う取得処理を行う。より具体的には、行動計画部４３はまず、ＨＭＩ１３のタッチパネル２３に運転を行うユーザに車両を直進させるように指示する通知を表示させる。運転を行うユーザが車両を直進させている間に、行動計画部４３は外界センサ７からの信号に基づいて、障害物の位置及び大きさと、路面に描かれた白線の位置とを取得する。行動計画部４３は取得した障害物の位置及び大きさと白線とに基づいて、駐車可能なスペース（以下、駐車可能位置）を抽出する。

次に、行動計画部４３は駐車可能位置から駐車位置を受け付ける駐車位置受付処理を行う。より具体的には、行動計画部４３は駐車可能位置を少なくとも１つ取得すると、行動計画部４３は運転を行うユーザに車両を停止させるように指示する通知をタッチパネル２３に表示させる。このとき、行動計画部４３は運転を行うユーザに車両を停止させた後、シフトレバーをパーキングポジションに変更するように指示してもよい。

行動計画部４３はタッチパネル２３に車両の現在地と、駐車可能位置とを表示する。このとき、行動計画部４３はタッチパネル２３に車外カメラ１８によって取得した画像を重ねて表示させるとよい。その後、行動計画部４３はタッチパネル２３に、ユーザに駐車可能位置の中から車両を駐車させる位置（駐車位置）として１つを選択するよう通知する表示を行う。ユーザから希望する駐車位置が入力されると、タッチパネル２３は入力された駐車位置に対応する信号を行動計画部４３に出力する。このとき、行動計画部４３はユーザのタッチ位置に基づいて、ユーザから希望する駐車位置を取得するとよい。このとき、行動計画部４３はタッチパネル２３にユーザが前向き駐車及び後向き駐車のいずれかを選択するためのボタンを表示させるとよい。このとき、行動計画部４３は前向き駐車及び後向き駐車のそれぞれに対応する車両の現在地から駐車位置に至る経路を簡易的に算出し、タッチパネル２３に算出した経路を表示させてもよい。このとき、タッチパネル２３は経路へのタッチ操作によって前向き駐車又は後向き駐車をユーザが選択できるようにし、選択結果を行動計画部４３に出力する。

次に、行動計画部４３はタッチパネル２３からユーザによって入力された駐車位置を受信すると、車両の現在地から駐車位置に至るまでの車両の軌道を算出する軌道算出処理を行う。前向き駐車及び後向き駐車の選択に関するユーザの入力操作を受け付けたときに、行動計画部４３は車両の現在地及び駐車位置に加え、ユーザからの入力に基づいて軌道を算出するとよい。

軌道の算出が終わると、行動計画部４３はタッチパネル２３にユーザに降車を促す通知すると共に、ユーザに操作端末３の遠隔駐車のためのアプリケーションを起動するよう指示する通知を表示させる。これらの通知に従って、ユーザは降車した後、操作端末３のアプリケーションを起動させる。

その後、操作端末３の出入力部３０には、車両への接続実行を行うための入力ボタンが表示される。ユーザが入力ボタンにタッチすると、行動計画部４３が操作端末３を認証する認証処理を行う。操作端末３の認証が完了すると、出入力部３０に、車両の現在地、軌道、及び駐車位置と、上下方向の矢印が表示される。その後、ユーザは操作端末３に入力を行うことにより、行動計画部４３に遠隔駐車処理（リモート駐車処理）の実行を指示することができる。遠隔駐車処理には、車両を駐車位置に移動させる移動処理と、車両を駐車位置に駐車させる駐車処理とが含まれる。

ユーザが、操作端末３の出入力部３０に表示された矢印をスワイプすると、操作端末３はスワイプ量に応じた操作量信号を行動計画部４３に送信する。行動計画部４３は操作量信号を車両の移動量に換算し、駐車位置に到達するまで車両を軌道に沿って算出された移動量だけ移動させる移動処理を行う。

行動計画部４３は、移動処理において、車両が駐車位置に到達したかを判定し、駐車位置に到達したと判定したときに、車両を駐車させる駐車処理を行う。駐車処理において、行動計画部４３はまず、走行制御部４４のブレーキ装置５を駆動する。その後、行動計画部４３は走行制御部４４のパーキングブレーキを駆動させる。車両の停止が完了すると行動計画部４３は操作端末３に駐車が完了したことを示す駐車完了通知を送信する。

操作端末３は駐車完了通知を受信すると、操作端末３の出入力部３０に駐車が完了した旨の通知を表示させ、操作端末３のアプリケーションを終了させる。これにより、駐車アシスト処理が完了する。

本実施形態に係る車両制御システム１は、操作端末３と、リモート駐車処理を実行する制御装置１５とを含み、リモート駐車処理において操作端末３に入力を行うユーザの視線方向に基づいて車両の移動を許可するかを判定する。

本実施形態に係る操作端末３はいわゆるスマートフォンである。出入力部３０はいわゆるタッチパネルであり、ユーザからの操作入力を受け付けると共に、その画面にユーザへの通知を表示する。

本実施形態に係る操作端末３は、端末姿勢検出部５０を備えている。端末姿勢検出部５０は、操作端末３の姿勢を取得するためのセンサである。本実施形態では、端末姿勢検出部５０は、３軸の加速度センサ５０Ａ、及び３軸の地磁気センサ５０Ｂを含んでいる。

加速度センサ５０Ａは加速度を計測するセンサであり、本実施形態では静電容量の変化に基づいて加速度を計測する静電容量型のＭＥＭＳセンサである。その他、加速度センサ５０Ａはピエゾ抵抗型のＭＥＭＳセンサであってもよい。加速度センサ５０Ａは直交する３つの軸方向の加速度を取得する。本実施形態では、図５に示すように、加速度センサ５０Ａや出入力部３０の画面に平行なｘ軸及びｙ軸と、画面に直交するｚ軸の３つの軸方向の加速度を取得する。但し、ｙ軸の正の向きが出入力部３０の画面の上向きに、ｚ軸の正の向きが出入力部３０の画面に直交し、画面を注視するユーザに近づく向きとなるように設定されている。処理部３３は加速度センサ５０Ａによって取得される加速度の向きによって重力加速度の向きを取得することができる。

地磁気センサ５０Ｂは磁場を計測するセンサであり、本実施形態ではホール効果を用いて磁場を測定するためのホール素子を含む。地磁気センサ５０Ｂとしては例えば、磁気抵抗効果センサや磁気インピーダンスセンサであってもよい。処理部３３は地磁気センサ５０Ｂによって取得される磁場の向きに基づいて北方向を取得することができる。

処理部３３は加速度センサ５０Ａによって検出された加速度と、地磁気センサ５０Ｂによって取得された磁場とを用いて、操作端末３の姿勢を取得する。より具体的には、処理部３３は、加速度センサ５０Ａによって取得された加速度の向きに基づいて、出入力部３０の画面の鉛直下向き（重力加速度）に対する傾きを取得する。次に、処理部３３は地磁気センサ５０Ｂによって取得された北方向に基づいて、出入力部３０の画面の北方向に対する向きを取得する。処理部３３は両者の情報を用いて、操作端末３の姿勢を取得する。

例えば、加速度センサ５０Ａによってｘ方向及びｚ方向の加速度が０であり、ｙ方向に負の向きの加速度が検出され、地磁気センサ５０Ｂによってｘ方向及びｙ方向の磁場の大きさが０であり、ｚ方向に負の向きの磁場が検出されたときには、図５に示すように、処理部３３は操作端末３の姿勢を出入力部３０（タッチパネル）の画面が鉛直方向に沿い、且つ、出入力部３０の画面が南を向く姿勢にあると判定する。

本実施形態では、処理部３３は通信装置９と通信を行うことによって、操作端末３及び通信装置９の距離と、通信装置９から見た操作端末３の方向を取得する。本実施形態では、処理部３３は通信装置９とＢｌｕｅｔｏｏｔｈ（登録商標）の通信を行い、処理部３３は通信装置９からの信号の電界強度を取得する。処理部３３はその電界強度の減衰量から通信装置９からの距離を推定する。本実施形態では、操作端末３は通信装置９からの信号を受信するためのアレイアンテナを有し、処理部３３はアレイアンテナを介して通信装置９からの信号を受信することで通信装置９からの信号の到着角度を検出し、通信装置９から見た操作端末３の方向を取得する。

更に、本実施形態では、認証完了を通知する信号を受信した後、リモート駐車処理の開始時には、操作端末３の出入力部３０に車両の現在地、軌道、及び駐車位置、上下方向の矢印、及び中断ボタンを含む入力画面が表示される（図６（Ａ）参照）。ユーザが表示された矢印に沿って、操作端末３の出入力部３０をなぞると、そのなぞった量、すなわち操作量の情報を含む操作量信号が行動計画部４３に送信される。また、ユーザが中断ボタンを押すと、中断ボタンが押されたことを示す信号が行動計画部４３に送信される。

次に、図４を参照して、行動計画部４３が実行するリモート駐車処理について説明を行う。

リモート駐車処理の最初のステップＳＴ１において、行動計画部４３は操作端末３においてユーザによって中断ボタンが押されたことを示す信号を受信したかを判定する。中断ボタンが押されたことを示す信号を受信した場合にはリモート駐車処理を終了し、駐車アシスト処理を終了する。また、処理部３３は中断ボタンが押されたことを検知すると、中断ボタンが押されたことを示す信号が行動計画部４３に送信した後、遠隔駐車のためのアプリケーションを終了させるとよい。行動計画部４３は中断ボタンが押されたことを示す信号を受信していない場合にはステップＳＴ２を実行する。

行動計画部４３はステップＳＴ２において、操作端末３から操作量信号を受信したかを判定する。操作量信号を受信していない場合にはステップＳＴ１に戻り、受信した場合にはステップＳＴ３を実行する。

行動計画部４３はステップＳＴ３において受信した操作量信号から操作量を算出する。その後、行動計画部４３は算出した操作量を、車両を軌道に沿って移動させるときの移動量に換算する。行動計画部４３は移動量を操作量に概ね比例するように換算するとよい。移動量への換算が完了すると、行動計画部４３はステップＳＴ４を実行する。

行動計画部４３はステップＳＴ４においてタイマをスタートさせる。その後、行動計画部４３はステップＳＴ５を実行する。

行動計画部４３はステップＳＴ５において、操作端末３に所定の信号を送信して、処理部３３に操作者監視部３１が撮像した画像（監視情報）を送信させ、操作端末３に操作入力を行うユーザの画像（以下、ユーザ画像）を取得する。次に、行動計画部４３はユーザ画像に対して、画像解析を行うことによって、出入力部３０の画面に対する操作入力を行うユーザ（以下、操作者）の視線の向きを取得する。本実施形態では、行動計画部４３は、ユーザ画像から目頭、目尻、及び瞳孔を含む虹彩部分を抽出する。行動計画部４３は抽出された目頭、目尻、及び黒目の位置や、虹彩部分の輪郭形状等に基づいて、操作端末３から見た操作者の視線方向を取得する。

次に、行動計画部４３はユーザ画像に対して、画像解析を行うことによって、操作端末３と操作者の目との距離と、操作端末３から見た操作者の目の方向を取得する。このとき、行動計画部４３は、ユーザ画像から画像上の瞳孔の大きさを取得し、人の瞳孔の大きさが概ね１０～１２ｍｍであることを用いて、操作端末３から操作者の目までの距離を算出するとよい。

その後、行動計画部４３は、操作端末３に所定の信号を送信して、処理部３３に操作端末３の姿勢を送信させ、操作端末３の姿勢を取得する。更に、行動計画部４３は、操作端末３との間でＢｌｕｅｔｏｏｔｈ（登録商標）の通信を行い、処理部３３に操作端末３と通信装置９との間の距離と、通信装置９から見た操作端末３の方向とを送信させる。これにより、行動計画部４３は、操作端末３及び通信装置９の距離と、通信装置９から見た操作端末３の方向とを取得する。

次に、行動計画部４３は、図７に示すように、操作端末３と通信装置９との間の距離、及び通信装置９から見た操作端末３の方向に基づいて、車両に対する操作端末３の位置（以下、ベクトルＡ）を算出する。その後、行動計画部４３は、操作端末３と操作者の目との距離と、操作端末３から見た操作者の目の方向に基づいて、操作端末３に対する操作者の目の位置（以下、ベクトルＢ）を算出する。その後、行動計画部４３はベクトルＡにベクトルＢを加えることで、車両に対する操作者の目の位置Ｃを取得する。

次に、行動計画部４３は操作端末３から見た運転者の視線方向を操作端末３の姿勢を用いて換算し、地面を基準とする操作者の視線方向ｖを取得する。その後、行動計画部４３は操作者の目の位置Ｃから操作者の視線方向ｖの方向を辿ることで車両に到達するか、すなわち操作者の視線が車両に向かっているかを判定する。行動計画部４３は、操作者の視線が車両に向かっているときにはステップＳＴ６を、車両に向かっていない場合にはステップＳＴ７を実行する。操作者の視線が車両に向かっているときには、操作者が車両を視認し、車両の周辺を監視していることが推察される。よって、操作者監視部３１は操作者が車両の周辺監視の実行を監視する機能を果たす。

行動計画部４３はステップＳＴ７において、タイマがスタートされてからの経過時間、すなわちステップＳＴ４からの経過時間を取得する。経過時間が第１受付時間（受付時間）未満であるときには、ステップＳＴ５を実行し、経過時間が第１受付時間以上第２受付未満であるときには、ステップＳＴ８を実行し、経過時間が第２受付時間（通知時間）以上であるときにはステップＳＴ９を実行する。但し、第１受付時間及び第２受付時間はそれぞれ所定の時間であり、第２受付時間は第１受付時間よりも長い所定の時間である。本実施形態では第１受付時間は５秒、第２受付時間は１０秒にそれぞれ設定されている。

行動計画部４３はステップＳＴ８において処理部３３に所定の信号を送信し、図６（Ｂ）に示すアラート画面を出入力部３０に表示させる。アラート画面は操作者に車両の周囲を確認するとともに車両を監視するように促す画面である。アラート画面の表示の指示が完了すると、行動計画部４３はステップＳＴ５を実行する。

行動計画部４３はステップＳＴ８において、行動計画部４３は操作端末３の出入力部３０にアラート画面が表示されている場合には処理部３３にアラート画面を消去させ、図６（Ａ）に示す入力画面を表示させる。その後、行動計画部４３はステップＳＴ１を実行する。

行動計画部４３はステップＳＴ６において、行動計画部４３は操作端末３の出入力部３０にアラート画面が表示されている場合には、処理部３３にアラート画面を消去し、入力画面を表示させる。次に、行動計画部４３は走行制御部４４を制御して、車両を軌道に沿って算出された移動量だけ移動させる。その後、行動計画部４３はステップＳＴ１０を実行する。

行動計画部４３はステップＳＴ１０において、ステップＳＴ４で開始したタイマをリセットする。リセットが完了すると行動計画部４３はステップＳＴ１１を実行する。

行動計画部４３はステップＳＴ１１において、ＧＰＳ受信部２０によって取得された車両の現在地と駐車位置とを比較することによって、車両が駐車位置に到達しているかを判定する。駐車位置に到達しているときにはステップＳＴ１２を実行し、到達していないときには再度、ステップＳＴ１を実行する。

行動計画部４３はステップＳＴ１２において、駐車処理を実行する。これにより、車両は駐車位置に停止される。駐車処理が完了すると、行動計画部４３はリモート駐車処理を終了し、駐車アシスト処理を完了する。

次に、このように構成した車両制御システム１の動作について説明する。リモート駐車処理が開始されると、入力画面の中断ボタンが押されたかが判定され（ＳＴ１）、中断ボタンが押された場合には、車両は移動することなく、リモート駐車処理が終了する。

中断ボタンが押されていない場合には、入力画面において操作者からの移動量の入力受付が行われる（ＳＴ２）。このとき、操作者からの移動量の入力があるまで、中断ボタンが押されたかの判定（ＳＴ１）と、移動量の入力があったかの判定（ＳＴ２）が繰り返される。

入力画面において操作者からの入力があると、操作量が移動量に換算される（ＳＴ３）。その後、タイマがスタートされ（ＳＴ４）、操作者の視線が車両に向かっているかが判定される（ＳＴ６）。

操作者の視線が車両に向かっているときには、操作端末３にアラート画面が表示されているときには入力画面に切り替えられた後、車両が軌道に沿って算出された移動量だけ移動する（ＳＴ６）。

操作者の視線が車両に向かっていないと判定された後、第１受付時間が経過していない場合（ＳＴ７）には再度視線が車両に向かっているかが判定され（ＳＴ５）、視線が車両に向かっていると判定された場合には車両が算出された移動量だけ移動する（ＳＴ６）。

操作者の視線が車両に向かっていないと判定された後、操作者が視線を車両に向けることなく、入力受付から第１受付時間が経過すると、操作端末３にアラート画面が表示される（ＳＴ８）。その後、入力受付後、第２受付時間が経過するまでの間に操作者がその視線を車両に向けると、視線が車両に向かっていると判定され（ＳＴ５）、車両が移動量、移動する（ＳＴ６）。

操作者の視線が車両に向けられることなく、入力受付後、第２受付時間が経過した場合には、車両が移動することなく、操作端末３に入力画面が表示され（ＳＴ９）、再度、操作量の入力受付が行われる（ＳＴ１）。

操作者の視線が車両に向かっていると判定され、車両が軌道に沿って移動量移動すると、タイマがリセットされ（ＳＴ１０）、車両が駐車位置に到達したかが判定される（ＳＴ１１）。車両が駐車位置に到達しているときには行動計画部４３は駐車処理を実行し（ＳＴ１２）、リモート駐車処理を終える。車両が到達していないときは、行動計画部４３はリモート駐車処理を最初のステップＳＴ１から実行する。

次に、このように構成した車両制御システム１の効果について説明する。リモート駐車処理において、入力受付後、操作者の視線が車両に向けられることなく、第２受付時間が経過した場合には、車両が移動することなく、再度入力画面が表示されて、入力の受付が行われる。すなわち、操作者が視線を車両に向けない限り、操作入力が無視され、車両が移動することがない。これにより、車両の移動時に操作者に視線を車両に向けさせて、車両を監視するように誘導することができる。よって、車両をより安全に駐車位置に移動させることができる。

入力受付後、第１受付時間以内に操作者が視線を車両に向けた場合には車両が移動する。これにより、操作者が操作端末３の出入力部３０の画面を見ながら操作量を入力した場合であっても、入力後、第１受付時間以内に車両を監視することによって、車両が移動する。これにより、ユーザは操作入力をしながら車両を監視する必要がなく、車両制御システム１の利便性が向上する。

操作者が車両を監視することなく、操作量を入力した後において、操作者がその視線を車両に向けることなく第１受付時間が経過した場合には、操作端末３の出入力部３０にはアラート画面が表示される。よって、操作者は車両を監視する必要があることを容易に理解することができる。その後、第２受付時間以内に操作者がアラート画面の表示に従って車両の監視を行うと、車両が移動する。このように、操作量の入力を行った後、第２受付時間以内に操作者が視線を車両に向けると、操作入力が無視されることなく、操作量に従って車両が移動されるため、車両制御システム１の利便性が向上する。

＜＜第２実施形態＞＞
第２実施形態に係る車両制御システム１０１は、リモート駐車処理において行動計画部４３が実行するステップＳＴ５のみが第１実施形態と異なり、他の部分については第１実施形態と同様であるため、説明を省略する。

行動計画部４３は図８に示すように、リモート駐車処理のステップＳＴ５において、第１実施形態と同様に、行動計画部４３はユーザ画像に対して、画像解析を行うことによって、出入力部３０の画面に対する操作者の視線の向きを取得する。行動計画部４３は、その後、操作者の視線が出入力部３０に向かっているかを判定する。行動計画部４３は出入力部３０に向かっていると判定したときには、ステップＳＴ７を実行し、向かっていないと判定したときにはステップＳＴ６を実行する。

次に、このように構成した車両制御システム１０１の効果について説明する。操作端末３に入力を行って車両の移動を行う場合には、操作者は出入力部３０の画面を注視する傾向にある。よって、操作者の視線が出入力部３０の画面に向かっていないときには、操作者は車両を監視していると考えられる。

行動計画部４３は操作者の視線の向きが出入力部３０の画面に向かっているか否かを判定する。操作者の視線が出入力部３０の画面に向かっているとき、すなわち、操作者が出入力部３０を注視して車両を監視していないときに、行動計画部４３は車両の移動を禁止する。これにより、操作端末３を注視しないように操作者を誘導することができ、操作者に車両を監視させることができる。

操作者の視線が出入力部３０の画面に向かっていないとき、すなわち操作者が車両を監視していると推察されるときには、行動計画部４３は車両を移動させる。このように、第２実施形態では、操作者が車両を監視しているか否かの判定を操作者の視線が出入力部３０の画面に向かっているか否かに基づいて行うため、第１実施形態に比べて、操作者が車両を監視しているか否かを判定する処理が簡素になる。

＜＜第３実施形態＞＞
第３実施形態に係る車両制御システム２０１は、リモート駐車処理において行動計画部４３が実行するステップＳＴ５の代わりにステップＳＴ２１、ステップＳＴ２２、及びステップＳＴ２３を順に実行することが第１実施形態と異なり、他の部分については第１実施形態と同様であるため、説明を省略する。

行動計画部４３は図９に示すように、リモート駐車処理のステップＳＴ２１において、第１実施形態と同様に、行動計画部４３はユーザ画像に対して、画像解析を行うことによって、出入力部３０の画面に対するユーザの視線の向きを取得する。行動計画部４３はその後、処理部３３に指示し、端末姿勢検出部５０によって取得した操作端末３の姿勢を送信させる、操作端末３の姿勢を取得する。その後、行動計画部４３は第１実施形態と同様に、操作端末３の姿勢に基づいて、車両を基準とするユーザの視線方向ｖ（図１０参照）を取得する。車両を基準とするユーザの視線方向ｖを取得した後、行動計画部４３はステップＳＴ２２を実行する。

行動計画部４３は、ステップＳＴ２２において、処理部３３に指示し、位置検出部３２（位置特定部）によって操作端末３の位置を取得させる。その後、行動計画部４３は、処理部３３に指示し、操作端末３の位置を送信させ、操作端末３の位置を取得する。その後、行動計画部４３は、ナビゲーション装置１０のＧＰＳ受信部２０（位置特定部）によって取得した車両の位置を取得する。両者の位置の差を算出することによって、行動計画部４３は操作端末３の位置から車両の位置に向かうベクトルｐを算出する。その後、行動計画部４３はステップＳＴ２３を実行する。

行動計画部４３は、ステップＳＴ２３において、ベクトルｖとベクトルｐとのなす角度θを算出し、角度θが所定値θ０以下であるかを判定する。行動計画部４３はθがθ０以下であるときにユーザの視線が車両に向かっているとみなしてステップＳＴ６を実行し、θがθ０より大きいときはユーザの視線が車両に向かっていないとみなしてステップＳＴ７を実行する。θ０はユーザから見た車両の大きさに基づいて定めるとよく、また、ユーザと車両との距離と車両の大きさとに基づいて定めてもよい。

第３実施形態に係る車両制御システム２０１の効果について説明する。第３実施形態では行動計画部４３はユーザの画像に基づいてユーザの視線方向ｖを取得した後、操作端末３の位置及び車両の位置を取得し、操作端末３の位置から車両の位置に向かうベクトルｐを算出する。

操作端末３を用いて車両を制御するときには、ユーザは出入力部３０に入力を行うため操作端末３の出入力部３０に視線を向けつつ、車両を監視することが多い。ユーザは図１０に示すように、操作端末３への入力と車両の監視とを同時に行えるように、操作端末３をユーザの目と車両との間に配置する。ユーザが操作端末３をユーザの目と車両との間に配置しているときには、ユーザの視線方向ｖと、操作端末３の位置から制御装置１５の位置に向くベクトルｐとが概ね平行となる。よって、行動計画部４３は、ベクトルｖとベクトルｐのなす角θがθ０以下となっているか否かを判定することで、ユーザが車両を監視しているか否かを判定することができる。これにより、ユーザが車両を監視しているか否かの判定に、制御装置１５は車両に対する操作端末３の位置の情報を必要としない。これにより、制御装置１５は第１実施形態に比べてユーザの視線が車両に向かっているか否かをより簡素な構成によって判定することができる。

以上で具体的実施形態の説明を終えるが、本発明は上記実施形態に限定されることなく幅広く変形実施することができる。上記第１実施形態では、処理部３３は通信装置９とＢｌｕｅｔｏｏｔｈ（登録商標）の通信を行うことによって、操作端末３及び通信装置９の距離と、通信装置９から見た操作端末３の方向を取得していたが、この態様には限定されない。例えば、車外カメラ１８、ミリ波レーダ、及びレーザライダによって操作者の位置及び画像を取得し、その位置に基づいて操作者の視線方向を算出してもよい。

１ ：第１実施形態に係る車両制御システム
３ ：操作端末
１５ ：制御装置
２０ ：ＧＰＳ受信部（位置検出部）
３０ ：出入力部
３１ ：操作者監視部
３２ ：位置検出部
１０１ ：第２実施形態に係る車両制御システム
２０１ ：第３実施形態に係る車両制御システム
ｐ ：ベクトル（端末から制御装置への向き）
ｖ ：視線方向（視線の向き）

Claims (3)

1. ユーザからの操作入力を受け付ける端末と、
   前記ユーザの前記操作入力に基づいて、車両を移動させて駐車させるリモート駐車処理を実行する制御装置とを有し、
   前記端末及び前記制御装置はそれぞれ、それぞれの位置を特定する位置特定部を備え、
   前記端末は、更に、前記ユーザからの前記操作入力を受け付けるとともに、前記ユーザへの通知を表示する出入力部と、前記ユーザの顔部分を撮像することにより、前記ユーザを監視する操作者監視部と、前記端末の姿勢を検出する端末姿勢検出部とを有し、
   前記制御装置は、前記リモート駐車処理において、
   前記操作者監視部によって取得された画像に基づいて、前記端末から見た前記ユーザの視線方向を取得し、
   前記端末姿勢検出部によって検出された前記端末の前記姿勢を用いて換算することにより、前記ユーザの地面を基準とする視線の向きを取得し、
   前記端末の位置及び前記制御装置の位置から前記端末から前記制御装置への向きを取得し、
   前記ユーザの視線の向きと、前記端末から前記制御装置への向きとがなす角度が所定値以下であるときに、前記ユーザの視線の向きと前記ユーザの目から前記制御装置への向きとがなす角度が前記所定値以下であると見做して、前記ユーザの視線が前記車両に向かっていると判定し、
   前記ユーザの視線が前記車両に向かっている場合には、前記車両の移動を許可する車両制御システム。
2. 前記制御装置は、前記リモート駐車処理において、前記端末への前記操作入力を受け付けた後、所定の通知時間内に前記操作者監視部において前記ユーザの視線が前記車両に向かっていると判定されない場合には、前記出入力部に前記ユーザの視線を前記車両に向けるように前記ユーザに促す通知を行わせる請求項１に記載の車両制御システム。
3. 前記制御装置は、前記リモート駐車処理において、前記端末への前記操作入力を受け付けた後、前記操作者監視部において前記ユーザの視線が前記車両に向かっていると判定されない状態が前記通知時間よりも長い所定の時間に渡って維持されるときには、前記端末は再度、前記操作入力の受付を行う請求項２に記載の車両制御システム。

Images