JP7332535B2 - 車両制御システム、サーバ、及び車両制御方法 - Google Patents

Description

本発明は、車載装備の動作制御に関し、特に車両ドアの開閉に係る動作を制御する車両制御システム、これに用いられるサーバ、および車両制御方法に関する。

従来、画像認証を用いた車両のエントリーシステムが知られている（例えば、特許文献１参照）。このエントリーシステムは、電波、超音波、赤外線、或いは車両の周辺画像から、車両に接近した人を検出する周辺監視手段を備え、車両に接近した人が検出された場合に、人を撮影して虹彩による本人確認を実行する。そして、上記エントリーシステムは、本人であることが確認された場合にドアを解錠するようにしている。

上記従来のエントリーシステムによれば、虹彩画像を予め登録しておいた利用者は、車両に近づくだけでドアを解錠することができるので、車両に乗車する際の利用者の負担を軽減することができる。一方、ドア解錠等のドア開閉動作に係る自動動作が望まれるシーンとしては、登録した利用者本人の乗車のみならず、例えば当該利用者がその車両を用いて他の人物を迎えに行くような場面において、当該他の人物が乗車する場合が考えられる。

この場合、上記他の人物の接近に伴って車両ドアが自動解錠されるようにする手法として、車両に接近した人物が出迎え対象である人物であるか否かを判断するための情報を、予め車両に登録しておくことが考えられる。しかしながら、車両利用に伴って乗車の可能性のある人物をいちいち登録するのでは、利用に伴う準備作業が煩雑となり不便である。

特開２００３－１３８８１７号公報

本発明の目的は、車両のドア開閉に係る動作を制御する車両制御において、車両のセキュリティを確保しつつ、登録された車両利用者以外の人物に対してもスムーズな乗車を行えるようにすることである。

本発明の一の態様は、車両の外部環境の画像である車外画像を取得する車外画像取得部と、前記車両の車室内の画像である車内画像を取得する車内画像取得部と、前記車外画像および前記車内画像に基づいて、前記車両の車内人物の存在の有無を認識すると共に前記車両の車外人物の動作を認識する人物認識部と、前記車両のドアの状態を制御するドア制御部と、前記車外人物が前記ドアの開動作を指示する際に行うべき所定の動作を決定する動作決定部と、を備え、前記ドア制御部は、前記人物認識部における認識結果に基づき、前記車内人物の存在が認識されている場合において、前記車外人物が、前記動作決定部が決定した前記所定の動作を行ったときは、前記ドアの開動作を実行する。
本発明の他の態様によると、前記動作決定部は、予め定められたタイミングで前記所定の動作を決定する。
本発明の他の態様によると、前記車両の利用者として予め登録された登録ユーザの情報および前記登録ユーザに対し所定の関係にある人物の端末装置に関する端末情報を含むユーザ情報を記憶する記憶装置と、前記車内人物のうち前記車両の利用者として予め登録された登録ユーザを特定するユーザ特定部と、前記動作決定部が決定した前記所定の動作についての動作情報を、前記車両の外に置かれた端末装置へ配信する動作情報配信部と、を備え、前記動作情報配信部は、前記車内人物である前記登録ユーザに対し前記所定の関係にある人物の前記端末装置に前記動作情報を配信する。
本発明の他の態様によると、前記動作決定部が決定した前記所定の動作についての動作情報を、近距離無線通信により、前記車両の外に置かれた端末装置へ提供する動作情報提供部を備え、前記動作情報提供部は、前記車両に接近する端末装置と通信を確立したときに、当該端末装置へ前記動作情報を送信する。
本発明の他の態様によると、前記動作決定部が決定した前記所定の動作についての動作情報を、近距離無線通信により、前記車両の外に置かれた端末装置へ提供する動作情報提供部と、前記車内人物のうち前記車両の利用者として予め登録された登録ユーザを特定するユーザ特定部を備え、前記動作情報提供部は、前記人物認識部における認識結果に基づき、前記登録ユーザである前記車内人物の存在が認識されていることを条件として、前記端末装置から要求を受信したことに応じて当該端末装置へ前記動作情報を送信する。
本発明の他の態様によると、前記開動作は、前記ドアを開ける自動動作、又は前記ドアを前記車両の外部から開けられる状態に設定すること、である。
本発明の他の態様は、前記動作決定部を備え、前記車両の車載装置と通信可能に接続されて上記いずれかの車両制御システムを構成するサーバである。
本発明の更に他の態様は、車両制御を行うコンピュータが実行する車両制御方法であって、車両の外部環境の画像である車外画像を取得するステップと、前記車両の車室内の画像である車内画像を取得するステップと、前記車外画像および前記車内画像に基づいて、前記車両の車外人物の動作および前記車両の車内人物の存在の有無を認識するステップと、前記車両のドアの状態を制御するステップと、前記車外人物が前記ドアの開動作を指示する際に用いるべき所定の動作を決定するステップと、を備え、前記制御するステップでは、前記認識するステップにおける認識結果に基づき、前記車内人物の存在が認識されている場合において、前記車外人物が、前記決定するステップで決定した前記所定の動作を行ったときは、前記ドアの開動作を実行する。

本発明によれば、車両のドア開閉に係る動作を制御する車両制御において、車両のセキュリティを確保しつつ、登録された車両利用者以外の人物に対してもスムーズな乗車を行えるようにすることができる。

本発明の一実施形態に係る車両制御システムの構成を示す図である。 図１に示す車両制御システムを構成する利用管理サーバの、構成の一例を示す図である。 図２に示す利用管理サーバが決定する、車外人物が行うべき解錠動作の一例を示す図である。 図１に示す車両制御システムを構成する車載システムの、構成の一例を示す図である。 図１に示す車両制御システムを構成する利用管理サーバの動作の手順を示すフロー図である。 図１に示す車両制御システムを構成する車載システムの動作の手順を示すフロー図である。

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の一実施形態に係る車両制御システムの構成を示す図である。本実施形態に係る車両制御システム１００は、例えば、車両１０２に搭載された複数の電子制御装置（ＥＣＵ、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）で構成される車載システム１０４と、利用管理サーバ１０６と、により構成されて、車両１０２の座席ドアの開動作を制御する。

車両制御システム１００を構成する車載システム１０４と利用管理サーバ１０６とは、通信ネットワーク１０８を介して互いに通信可能に接続されている。通信ネットワーク１０８は、例えばインターネット等のオープンネットワーク、又はプライベートネットワークであるものとすることができる。

車両１０２は、車室内を撮影する車内カメラである前席カメラ１１０及び後席カメラ１１２を備える。前席カメラ１１０は、例えばルームミラーまたはダッシュボード等に設けられ、車室内のうち車両１０２の前半分のエリアを撮影する。後席カメラ１１２は、例えば車室内のルーフ内面に設けられ、車室内のうち後ろ半分のエリアを撮影する。

また、車両１０２は、車外の周囲環境を撮影する車外カメラであるフロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０を備える。フロントカメラ１１４は、例えばフロントバンパーに設けられ、周囲環境のうち車両１０２の前方エリアを撮影する。右サイドカメラ１１６および左サイドカメラ１１８は、例えば車両１０２の右側ピラーおよび左側ピラーに設けられ、それぞれ、周囲環境のうちの車両１０２の右側エリアおよび左側エリアを撮影する。また、リアカメラ１２０は、例えばリアバンパーまたはテールゲート上部に設けられ、周囲環境のうち車両１０２の後方エリアを撮影する。

車両１０２は、例えば、当該車両１０２の利用者として利用管理サーバ１０６に予め登録された複数の利用者（登録ユーザ）のそれぞれにより利用され得る。車両１０２は、例えば自家用車やシェアカー等であり得る。

車両１０２は、図１に示す例では、前部座席ドアである運転席ドア１２２及び助手席ドア１２４と、後部座席ドアである後部右ドア１２６および後部左ドア１２８と、の４つのドアを備える。

車両制御システム１００は、車両１０２の車内における人物（車内人物）の存在の有無と、車両１０２の外部にいる人物（車外人物）の動作と、に基づいて、車両１０２の上記４つのドアの開動作を制御する。

ここで、ドアの開動作とは、車外人物が車両１０２に乗り込めるようにドアの状態を設定する動作をいい、単なるドアロックの解錠のほか、ドアに設けられたアクチュエータにより当該ドアを自動で開ける動作が含まれ得る。また、例えばドア開閉のための取っ手（ドアハンドル又はドアノブ）がドアボディ内に収納されるタイプのドアでは、上記ドアロックの解錠には、アクチュエータにより上記ドアハンドルをドアボディから出して、車外人物によるドアの開操作を可能にすることが含まれ得る。

図１に示すシーンでは、例えば、車両１０２には、車内人物として当該車両１０２の現在の利用者（現在ユーザ）であって登録ユーザである人物１３０が乗車しており、車外人物として３人の人物１４０、１４２、および１４４が存在する。また、これらの人物１４０、１４２、１４４は、それぞれ、自身の携帯端末１５０、１５２、１５４を所持している。

利用管理サーバ１０６は、登録ユーザの情報を保持する。また、利用管理サーバ１０６は、登録ユーザ毎に、それぞれの登録ユーザが車両１０２の利用に際して当該車両１０２の解錠を許可する人物（許可ユーザ）の情報を保持する。また、利用管理サーバ１０６は、車両１０２の外にいる車外人物が車両１０２にドアの開動作を指示する際に用いるべき所定の動作（以下、解錠動作ともいう）を、所定のタイミングで決定する。上記解錠動作は、後述するように、例えば手指の特定の動きや身体の特定のジェスチャーであり得る。また、上記所定のタイミングは、例えば、日毎の所定の時刻とすることができる。

車載システム１０４は、車内画像に基づき、車両１０２の運転席に座る人物１３０の顔画像認証を行い、人物１３０を現在ユーザとして認識する、そして、当該現在ユーザの情報を利用管理サーバ１０６へ送信する。

利用管理サーバ１０６は、車両１０２の現在ユーザ（人物１３０）を示す情報を車載システム１０４から受信し、上記決定した最新の解錠動作についての情報（動作情報）を、車載システム１０４と、例えば人物１３０についての許可ユーザである人物１４０の携帯端末１５０と、へ送信する。

車載システム１０４は、利用管理サーバ１０６から上記動作情報を受信して記憶する。また、車載システム１０４は、車外画像および車内画像に基づき、車内人物の存在の有無および車外人物の動作を認識する。そして、車載システム１０４は、上記認識結果に基づき、車内人物の存在が認識されている場合において、車外人物が、上記受信した動作情報が示す解錠動作を行ったときに、車両１０２の座席ドアの開動作を実行する。

図１に示すシーンでは、許可ユーザである人物１４０は、携帯端末１５０により動作情報を受信し、当該動作情報が示す解錠動作を認識する。そして、人物１４０は、車両１０２に接近し（図示破線矢印）、車両１０２のいずれかの車外カメラ、例えば右サイドカメラ１１６の視野内で、上記解錠動作を行う。車載システム１０４は、車内人物としての人物１３０の存在を検知すると共に、車外人物である人物１４０が行った解錠動作を認識して、例えばその時点において人物１４０に最も近い後部右ドア１２６の開動作を実行する。

すなわち、車両制御システム１００は、所定のタイミングで解錠動作を決定し、最新の当該解錠動作を車外人物が行ったか否かを認識することにより当該車内人物が現在ユーザについての許可ユーザであることを認証し、且つ車内人物が存在することを前提としてドアの開動作を実行する。これにより、車両制御システム１００では、車両１０２のセキュリティを確保しつつ、登録ユーザ以外の人物に対してもスムーズな乗車を支援することができる。

次に、図２を参照して、車両制御システム１００を構成する利用管理サーバ１０６の構成について説明する。利用管理サーバ１０６は、処理装置２００と通信装置２０２と記憶装置２０４とを有する。通信装置２０２は、通信ネットワーク１０８を介して車載システム１０４および携帯端末１５０等と通信するための無線通信装置及び又は有線通信装置である。

記憶装置２０４は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。記憶装置２０４には、ユーザ情報２０６が保存されている。ユーザ情報２０６は、車両１０２の登録ユーザ毎の登録ユーザ情報２０８で構成される。また、それぞれの登録ユーザ情報２０８は、対応する登録ユーザの顔画像情報２１０と、当該登録ユーザを識別するためのＩＤコードを含む個人情報２１２と、その登録ユーザと所定の関係を有する人物（特定許可ユーザ）の特定ユーザ情報２１４と、を含む。

ここで、所定の関係とは、例えば、登録ユーザの家族や親戚などの血縁関係や親しい友人、知人等々の関係であり得る。特定ユーザ情報２１４には、特定許可ユーザ毎の、登録ユーザとの関係を示す情報、および当該特定許可ユーザが所持する端末装置（例えば、携帯端末）と通信するための端末情報が含まれる。

また、登録ユーザ情報２０８には、それぞれ第１許可ユーザおよび第２許可ユーザについての情報である第１許可ユーザ情報２１６および第２許可ユーザ情報２１８が含まれる。第１許可ユーザは、対応する登録ユーザが車両１０２の利用に際して車両１０２のドアの解錠を許可するユーザであって、後述するように、その登録ユーザが車両１０２内に乗車しているか否かに関わらず、動作決定部２３０（後述）が決定した解錠動作についての動作情報を受信し得る。

また、第２許可ユーザは、対応する登録ユーザが車両１０２の利用に際して車両１０２のドアの解錠を許可するユーザであって、後述するように、その登録ユーザが車両１０２内に乗車している間に限り、動作決定部２３０が決定した解錠動作についての動作情報を受信し得る。第１許可ユーザおよび第２許可ユーザは、例えば登録ユーザの友人や知人等であり得る。

第１許可ユーザ情報２１６および第２許可ユーザ情報２１８には、それぞれ、各第１許可ユーザの端末装置（例えば携帯端末）と通信するための端末情報および各第２許可ユーザの端末装置（例えば携帯端末）と通信するための端末情報が含まれる。

ここで、図１に示すシーンにおいては、人物１４０、１４２、及び１４４は、それぞれ、特定許可ユーザ、第１許可ユーザ、および第２許可ユーザであるものとする。

処理装置２００は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置２００は、機能要素又は機能ユニットとして、動作決定部２３０と、動作情報配信部２３２と、ユーザ登録部２３４と、ユーザ情報提供部２３６と、を備える。

処理装置２００が備えるこれらの機能要素は、例えば、コンピュータである処理装置２００がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２００が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

動作決定部２３０は、予め定められた所定のタイミングで（例えば、日毎の所定の時刻に）、許可ユーザである車外人物が車両１０２のドアの開動作を指示する際に行うべき解錠動作を決定する。ここで、解錠動作は、手指の特定の形状を形成する動作、手指や腕を特定のパターンで動かす動作、身体を用いた特定のジェスチャーのほか、これらの動作と特定の音声とを組み合わせる動作、等々とすることができる。

図３は、動作決定部２３０が決定する解錠動作の一例を示す図である。図３には、手指で特定の形状を形成する１５種類の解錠動作が、動作（ａ）から動作（ｑ）まで、表形式で示されている。動作（ａ）から動作（ｎ）は、手指で特定の形状を形成する動作、動作（ｐ）は、動作（ｋ）に示す手指の形状において指先を左右に振る動作、および動作（ｑ）は、動作（ｈ）に示す手指の形状を横に倒して指先を上下に振る動作である。図３に示す例の変形として、例えば、これらの手指の形状から選択される複数の異なる形状を順に示す動作を解錠動作とすることができる。

図２を参照し、動作情報配信部２３２は、動作決定部２３０が決定した上記解錠動作を示す動作情報を、車両１０２へ送信する。また、動作情報配信部２３２は、当該動作情報を、車両１０２の外に置かれた端末装置へ配信する。具体的には、動作情報配信部２３２は、車内人物である登録ユーザ（例えば現在ユーザ）に対し所定の関係にある人物（すなわち、特定許可ユーザ）の端末装置に上記動作情報を配信する。

より具体的には、動作情報配信部２３２は、車載システム１０４から車両１０２の現在ユーザの情報を受信すると、記憶装置２０４に記憶されたユーザ情報２０６に含まれる現在ユーザについての登録ユーザ情報２０８を参照する。そして、動作情報配信部２３２は、参照した登録ユーザ情報２０８に含まれる特定ユーザ情報２１４に基づき、現在ユーザに対し所定の関係にある特定許可ユーザの端末装置（例えば携帯端末）へ、動作情報を送信する。これにより、自身の端末装置により動作情報を受信した特定許可ユーザは、当該動作情報が示す解錠動作を行うことで、車両１０２にドア開動作を実行させることができる。

ここで、動作情報配信部２３２は、その特定ユーザ情報２１４に含まれるすべての特定許可ユーザの端末装置へ動作情報を送信するものとしてもよいし、それら特定許可ユーザのうち、さらに特定の関係にある特定許可ユーザを抽出して、当該抽出した特定許可ユーザの端末装置に動作情報を送信するものとしてもよい。この場合において、上記抽出の対象となる特定の関係は、上述した所定の関係のうち、例えば現在ユーザの家族のみ等とすることができる。動作情報配信部２３２が上記抽出の際に用いるべき上記特定の関係は、例えば、全ての登録ユーザに適用されるルールとして予め定められていてもよいし、登録ユーザのそれぞれが予め定めて登録ユーザ情報２０８の中に記憶しておくものとしてもよい。

動作情報配信部２３２は、さらに、特定許可ユーザまたは第１許可ユーザの端末装置から動作情報の送信要求を受信したときは、当該送信要求の送信元である端末装置へ、動作情報を送信する。受信した送信要求が特定許可ユーザまたは第１許可ユーザの端末装置から送信されたものであるか否かは、例えば、送信元の通信アドレスや当該送信要求と共に送信されるＩＤコード等により判断され得る。

ユーザ登録部２３４は、登録ユーザのそれぞれについての登録ユーザ情報２０８を記憶装置２０４に記憶する。ユーザ登録部２３４は、例えば、それぞれの登録ユーザが携帯端末等を介して送信する顔画像等の情報を収集して、それら登録ユーザの登録ユーザ情報２０８を生成して記憶装置２０４に記憶するものとすることができる。

ユーザ情報提供部２３６は、車載システム１０４からの要求に応じて、記憶装置２０４のユーザ情報２０６を参照し、当該要求が示す登録ユーザの登録ユーザ情報２０８を車載システム１０４へ送信する。

次に、図４を参照して、車載システム１０４の構成について説明する。車載システム１０４は、本実施形態では、車載の電子制御装置（ＥＣＵ）である車両制御装置４０２と、画像取得装置４０４と、ユーザ管理装置４０６と、で構成されている。

車両制御装置４０２と、画像取得装置４０４と、ユーザ管理装置４０６と、は車載ネットワークバス４００を介して通信可能に接続されている。車載ネットワークバス４００には、さらに、ＢＣＭ（ボディコントロールモジュール）４０８と、ＴＣＵ（テレマティクスコントロールユニット）４１０と、ＵＩ（ユーザインタフェース）制御装置４１２が接続されている。

ＢＣＭ４０８は、ＣＰＵ等の処理装置（不図示）を備え、車両１０２の運転席ドア１２２、助手席ドア１２４、後部右ドア１２６、後部左ドア１２８に設けられたアクチュエータを制御して、これらのドアの開動作を制御する。ＢＣＭ４０８は、また、車両１０２のイグニションキー（不図示）のオンオフ操作を検知して、検知結果を他の装置へ通知する。

ＴＣＵ４１０は、近距離通信装置４１４と、遠距離通信装置４１６と、これらの通信装置の動作を制御する処理装置４１８と、を備える。処理装置４１８は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。近距離通信装置４１４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信規格に従って携帯端末１５０等と通信する無線通信装置である。また、遠距離通信装置４１６は、通信ネットワーク１０８を介して、例えば利用管理サーバ１０６や携帯端末１５０等と通信するための無線通信装置である。

ＵＩ制御装置４１２は、ＣＰＵ等の処理装置（不図示）を備え、車両１０２が備える車両制御装置４０２等の他の装置の指示により、車両１０２の車室内に設けられた表示装置４２０に画像を表示し、およびスピーカ４２４から音声を出力する。また、ＵＩ制御装置４１２は、マイク４２６から車室内および車外の音声を取得すると共に、当該音声についての音声認識処理を行って、上記音声及び又は音声認識処理の結果を他の装置へ出力する。また、ＵＩ制御装置４１２は、表示装置４２０の表示スクリーン上に設けられたタッチパネル４２２を介して車両１０２の乗員から入力される指示及び又はデータを取得し、取得した指示及び又はデータを他の装置へ出力する。

車載システム１０４を構成する画像取得装置４０４は、ＣＰＵ等のプロセッサを備えたコンピュータである処理装置４３０を備え、機能要素又は機能ユニットとして、車外画像取得部４３２と、車内画像取得部４３４と、を備える。これらの機能要素は、例えば、コンピュータである処理装置４３０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置４３０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

車外画像取得部４３２は、フロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０を制御し、これらの車外カメラから、車両１０２の外部環境の画像である車外画像を取得する。また、車内画像取得部４３４は、前席カメラ１１０および後席カメラ１１２を制御し、これらの車内カメラから、車両１０２の車室内の画像である車内画像を取得する。車外画像および車内画像は、それぞれ所定の時間間隔で繰り返し撮像される静止画像または所定のフレームレートの動画像であるものとすることができる。画像取得装置４０４は、上記取得した車外画像および車内画像を、車載ネットワークバス４００を介して他の装置へ出力する。

車載システム１０４を構成するユーザ管理装置４０６は、車両１０２に乗車している人物についての情報を管理する。

具体的には、ユーザ管理装置４０６は、処理装置４４０と記憶装置４４２とを備える。記憶装置４４２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置４４０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置４４０は、機能要素又は機能ユニットとして、ユーザ特定部４４４と、ユーザ情報取得部４４６と、を備える。

処理装置４４０が備えるこれらの機能要素は、例えば、コンピュータである処理装置４４０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置４４０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

ユーザ特定部４４４は、画像取得装置４０４から車内画像を受信し、当該受信した車内画像に基づき、車両１０２の中にいる車内人物のそれぞれについての顔画像認証を行って、車内人物が登録ユーザであるか否かを特定する。具体的には、ユーザ特定部４４４は、利用管理サーバ１０６に既に登録されている各登録ユーザの顔画像情報２１０と個人情報２１２とを利用管理サーバ１０６から取得して上記車内画像中の車内人物の顔画像と比較することにより、車内人物のそれぞれが登録ユーザであるか否かを判断する。

ユーザ特定部４４４は、顔画像認証の結果に基づき、例えば車内人物のそれぞれの顔画像とそれぞれの車内人物が登録ユーザであるか非登録ユーザであるかを示す識別情報と、で構成される車内人物情報４４８を、記憶装置４４２に記憶する。上記識別情報には、例えば、それぞれの登録ユーザの個人情報２１２に含まれるＩＤコードなどが含まれ得る。これにより、車両１０２の車内人物のうち、車内人物情報４４８において上記顔画像に対応付けて上記ＩＤコードを含む識別情報が記憶されている車内人物は、登録ユーザであるものと判断され得る。

ユーザ特定部４４４は、また、車両１０２の利用開始時において運転席に乗車している登録ユーザを、車両１０２の現在の利用者（現在ユーザ）として特定し、車内人物情報４４８において、現在ユーザの顔画像に対応付けられた上記識別情報に、当該顔画像の人物が現在ユーザであることを示す情報を付加する。さらに、ユーザ特定部４４４は、現在ユーザを特定したときは、当該現在ユーザを示す情報（例えばＩＤコード）を利用管理サーバ１０６へ送信する。

図１に示すシーンでは、ユーザ特定部４４４は、車両１０２の運転席に乗車した人物１３０を登録ユーザ且つ現在ユーザとして特定し、人物１３０についての車内人物情報４４８を記憶装置４４２に記憶すると共に、人物１３０のＩＤコードを、現在ユーザを示す情報として利用管理サーバ１０６へ送信する。

ユーザ情報取得部４４６は、ユーザ特定部４４４が記憶した車内人物情報４４８を参照して現在ユーザを特定し、当該現在ユーザの登録ユーザ情報２０８を利用管理サーバ１０６から取得して、記憶装置４４２にユーザ関連情報４５０として記憶する。すなわち、ユーザ関連情報４５０には、現在ユーザの登録ユーザ情報２０８に含まれる顔画像情報２１０、個人情報２１２、特定ユーザ情報２１４、第１許可ユーザ情報２１６、および第２許可ユーザ情報２１８が含まれ得る。

図１に示すシーンでは、ユーザ情報取得部４４６が記憶装置４４２に記憶するユーザ関連情報４５０には、特定許可ユーザである人物１４０の情報を含む特定ユーザ情報２１４、第１許可ユーザである人物１４２の情報を含む第１許可ユーザ情報２１６、および第２許可ユーザである人物１４４の情報を含む第２許可ユーザ情報２１８が含まれる。

車載システム１０４を構成する車両制御装置４０２は、画像取得装置４０４から受信する車外画像及び車内画像に基づき、ＢＣＭ４０８に指示して車両ドアの開動作を制御する。

具体的には、車両制御装置４０２は、処理装置４６０と記憶装置４６２とを備える。記憶装置４６２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置４６０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置４６０は、機能要素又は機能ユニットとして、動作情報取得部４６４と、動作情報提供部４６６と、人物認識部４６８と、ドア制御部４７０と、を備える。

処理装置４６０が備えるこれらの機能要素は、例えば、コンピュータである処理装置４６０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置４６０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

動作情報取得部４６４は、利用管理サーバ１０６から、動作決定部２３０が決定した解錠動作についての動作情報を取得する。動作情報取得部４６４は、動作決定部２３０が解錠動作を決定したときに利用管理サーバ１０６の動作情報配信部２３２が送信する動作情報を受信して取得することができる。これに加えて又はこれに代えて、動作情報取得部４６４は、車両１０２に対し利用の開始を示す所定の操作（例えばイグニションキーのオン操作）が行われたときに、又は所定の時間間隔で、利用管理サーバ１０６に送信要求を送信して、動作情報を取得するものとしてもよい。

動作情報提供部４６６は、動作情報取得部４６４が取得した動作情報、すなわち、利用管理サーバ１０６の動作決定部２３０が決定した解錠動作についての動作情報を、近距離無線通信により、車両１０２の外の端末装置（例えば携帯端末）へ提供する。具体的には、動作情報提供部４６６は、例えば、ＴＣＵ４１０の近距離通信装置４１４が他の通信装置を介在することなく直接に、車両１０２から所定距離の範囲内（例えば近距離通信装置４１４の通信可能範囲）に接近した第１許可ユーザである車外人物の携帯端末と通信を確立したときに、近距離通信装置４１４により当該携帯端末へ動作情報を送信する。これにより、自身の携帯端末により動作情報を受信した第１許可ユーザは、その動作情報が示す解錠動作を行うことで、車両１０２にドア開動作を実行させることができる。

図１に示すシーンでは、動作情報提供部４６６は、第１許可ユーザである人物１４２が車両１０２に接近し、当該人物１４２が保有する携帯端末１５２と近距離通信装置４１４との通信が確立したときに、携帯端末１５２へ動作情報を送信する。

また、例えば、動作情報提供部４６６は、ＴＣＵ４１０の近距離通信装置４１４が他の通信装置を介在することなく直接に、車両１０２から所定距離の範囲内（例えば近距離通信装置４１４の通信可能範囲）に接近した第２許可ユーザである車外人物の携帯端末と通信を確立したときに、車両１０２内に登録ユーザである車内人物が存在することを条件として、近距離通信装置４１４により当該携帯端末へ動作情報を送信する。これにより、自身の携帯端末により動作情報を受信した第２許可ユーザは、その動作情報が示す解錠動作を行うことで、車両１０２にドア開動作を実行させることができる。

ここで、動作情報提供部４６６は、車両１０２内に登録ユーザである車内人物がいるか否かを、後述する人物認識部４６８における認識結果およびユーザ管理装置４０６が記憶する車内人物情報４４８に基づいて判断することができる。なお、この場合において、動作情報提供部４６６は、第２許可ユーザである車外人物の携帯端末に動作情報を送信したことを、車両１０２内の登録ユーザに通知するものとしてもよい。例えば、動作情報提供部４６６は、ＵＩ制御装置４１２に指示して、上記通知を表示装置４２０に表示し及び又はスピーカ４２４から音声として発出するものとすることができる。

これにより、登録ユーザである車内人物は、第２許可ユーザの乗車の可能性を予め知ることができる。また、あるいは、動作情報提供部４６６は、上記通知に対し、登録ユーザである車内人物がタッチパネル４２２による入力又はマイク４２６を介した音声指示により動作情報の送信を許可したときに、第２許可ユーザである車外人物の携帯端末に動作情報を送信するものとしてもよい。

図１に示すシーンでは、車両１０２内には登録ユーザである人物１３０が居るので、動作情報提供部４６６は、第２許可ユーザである人物１４４が車両１０２に接近し、当該人物１４４が保有する携帯端末１５４と近距離通信装置４１４との通信が確立したときに、携帯端末１５４へ動作情報を送信する。

人物認識部４６８は、画像取得装置４０４から受信される車外画像および車内画像に基づいて、車外人物および車内人物の存在の有無、および車外人物の動作を認識する。特に、人物認識部４６８は、動作情報取得部４６４が取得した動作情報に基づき、車外人物が、当該動作情報が示す解錠動作を行ったか否かを認識する。そして、人物認識部４６８は、これらの認識の結果（認識結果）を、動作情報提供部４６６およびドア制御部４７０へ送る。

ドア制御部４７０は、人物認識部４６８における認識結果に基づき、車内人物の存在が認識されている場合において、車外人物が、動作情報取得部４６４により取得された動作情報が示す解錠動作を行ったときは、ＢＣＭ４０８に指示して車両１０２のドアの開動作を実行する。この場合において、ドア制御部４７０は、例えば、解錠動作を行った車外人物に最も近いドアの開動作を実行するものとすることができる。

図１に示すシーンでは、例えば、人物認識部４６８が車両１０２の左に接近する車外の人物１４４の動作を上記解錠動作であるものと認識したときに、ドア制御部４７０は、ＢＣＭ４０８に指示して、人物１４４に最も近い助手席ドア１２４の開動作を実行する。

上記の車両制御システム１００は、例えば日毎に決定した解錠動作を示す動作情報を、登録ユーザが許可したユーザへ送信し、車外人物がその解錠動作を行ったときは、車両１０２内に車内人物が存在することを条件として、車両１０２のドアの開動作を実行する。これにより、車両制御システム１００では、車両１０２のセキュリティを確保しつつ、登録ユーザ以外の人物に対してもスムーズな乗車を支援することができる。

次に、車両制御システム１００の処理について説明する。図５および図６は、それぞれ、車両制御システム１００を構成する利用管理サーバ１０６および車載システム１０４の処理の手順を示すフロー図である。

まず、図５に示す利用管理サーバ１０６における処理について説明する。この処理は、利用管理サーバ１０６の電源がオンされた状態において所定のタイミングが到来したときに開始する。上記所定のタイミングは、例えば毎朝３時等とすることができる。利用管理サーバ１０６は、自身が備えるタイマー（不図示）により、所定のタイミングの到来を認識する。あるいは、上記所定のタイミングは、車両１０２に対し利用の開始を示す所定の操作が行われたときであるものとしてもよい。利用管理サーバ１０６は、車載システム１０４の車両制御装置４０２から、上記利用の開始を示す所定の操作が行われたときに、その旨の通知を受信するものとすることができる。

なお、図５に示す処理と並行して、利用管理サーバ１０６は、以下の処理を実行するものとする。まず、ユーザ登録部２３４は、車両１０２の利用を希望する人物の携帯端末等から情報を受信したことに応じて、当該人物の登録ユーザ情報２０８を生成して、記憶装置２０４に記憶する。また、動作情報配信部２３２は、車両１０２から現在ユーザを示す情報（例えばＩＤコード）を送信したことに応じて、これを受信し記憶する。また、ユーザ情報提供部２３６は、車両１０２から送信要求を受信したことに応じて、現在ユーザの登録ユーザ情報２０８を、車両１０２へ送信する。

図５に示す処理を開始すると、動作決定部２３０は、どのような動作を解錠動作とするかを決定する（Ｓ１００）。続いて、動作情報配信部２３２は、上記決定された解錠動作を示す動作情報を、車両１０２の車載システム１０４へ送信する（Ｓ１０２）。また、動作情報配信部２３２は、車両１０２の現在ユーザ（車両１０２を現在利用する登録ユーザ）の登録ユーザ情報２０８を参照し、特定ユーザ情報が示す特定許可ユーザの携帯端末へ、動作情報を送信したのち（Ｓ１０４）、本処理を終了する。

次に、図６に示す車載システム１０４における処理について説明する。この処理は、車両１０２が停車又は駐車されたとき、例えば車速が所定速度（例えば５ｋｍ／ｈ）未満となったときに開始する。車載システム１０４を構成する各装置は、例えば、車速センサ（不図示）が接続されたＢＣＭ４０８を介して車両１０２の車速についての情報を得るものとすることができる。

なお、図６に示す処理と並行して、車載システム１０４のユーザ管理装置４０６は、以下の処理を実行する。まず、ユーザ管理装置４０６は、例えば車両１０２に対し利用の開始を示す所定の操作が行われたときから利用の終了を示す所定の操作が行われるまでの期間において、画像取得装置４０４が取得する車内画像に基づき、車両１０２を乗り降りする人物を認識して、車内人物情報４４８およびユーザ関連情報４５０を記憶装置４４２に記憶するものとする。また、ユーザ管理装置４０６のユーザ特定部４４４は、車両１０２の利用が開始されたときは、画像取得装置４０４が取得する車内画像に基づき、現在ユーザ（車両１０２を現在利用する登録ユーザ）を特定し、当該現在ユーザのＩＤコードを利用管理サーバ１０６へ送信する。また、ユーザ管理装置４０６のユーザ情報取得部４４６は、利用管理サーバ１０６から、現在ユーザの登録ユーザ情報２０８を取得する。

さらに、図６に示す処理と並行して、車両制御装置４０２の動作情報取得部４６４は、車両１０２の利用が開始されたときに、利用管理サーバ１０６から、最新の解錠動作を示す動作情報を取得する。

ここで、上記利用の開始を示す所定の操作及び利用の終了を示す所定の操作は、それぞれ、例えば現在ユーザが行う車両１０２のイグニションキーのオン操作およびオフ操作であるものとすることができる。ユーザ管理装置４０６および車両制御装置４０２は、イグニションキーのオン操作およびオフ操作があったことを、例えばイグニションキーセンサ（不図示）が接続されたＢＣＭ４０８から取得するものとすることができる。

図６に示す処理を開始すると、車載システム１０４の画像取得装置４０４は、車外画像および車内画像の取得を開始する（Ｓ２００）。また、車両制御装置４０２の人物認識部４６８は、車外人物及び車内人物の存在有無および動作の認識動作を開始する（Ｓ２０２）。

次に、車両制御装置４０２のドア制御部４７０は、人物認識部４６８の現在の認識結果に基づき、車外人物が、上記取得された動作情報が示す解錠動作を行ったか否かを判断する（Ｓ２０４）。そして、車外人物が解錠動作を行ったときは（Ｓ２０４、ＹＥＳ）、ドア制御部４７０は、人物認識部４６８の現在の認識結果に基づき、車両１０２内に車内人物が存在するか否かを判断する（Ｓ２０６）。

そして、車両１０２内に車内人物が存在するときは（Ｓ２０６、ＹＥＳ）、ドア制御部４７０は、ＢＣＭ４０８に指示して、車両１０２のドアの開動作を行う（Ｓ２０８）。この場合において、ドア制御部４７０は、例えば、車内人物又は荷物等により占有されていない座席のうち解錠動作を行った上記車外人物に最も近い座席のドアの開動作を実行するものとすることができる。

次に、ドア制御部４７０は、車内画像に基づき、上記車外人物が車両１０２に乗車してドアが閉じられたか否かを判断し（Ｓ２１０）、閉じられていないときは（Ｓ２１０、ＮＯ）、ステップＳ２１０に戻ってドアが閉じられるまで待機する。一方、ドアが閉じられたときは（Ｓ２１０、ＹＥＳ）、ドア制御部４７０は、車両１０２が停車又は駐車を終えて発進したか否かを判断する（Ｓ２１２）。ドア制御部４７０は、例えば、車両１０２の車速が所定の速度（例えば、５ｋｍ／ｈ）以上となったときに、車両１０２が発進したものと判断することができる。上述したように、ドア制御部４７０は、例えばＢＣＭ４０８を介して車両１０２の車速についての情報を得るものとすることができる。

そして、車両１０２が発進していないときは（Ｓ２１２、ＮＯ）、ドア制御部４７０は、ステップＳ２０４に戻って処理を繰り返す。一方、車両１０２が発進したときは（Ｓ２１２、ＹＥＳ）、ドア制御部４７０は、本処理を終了する。

一方、ステップＳ２０６において車両１０２内に車内人物が存在しないときは（Ｓ２０６、ＮＯ）、ドア制御部４７０は、ステップＳ２１２に処理を移す。

また、一方、ステップＳ２０４において解錠動作を行った車外人物がいないときは（Ｓ２０４、ＮＯ）、動作情報提供部４６６は、ＴＣＵ４１０の近距離通信装置４１４が、現在ユーザについてのいずれかの第１許可ユーザの携帯端末との通信を確立した否かを判断する（Ｓ２１４）。そして、いずれかの第１許可ユーザの携帯端末との通信を確立していないときは（Ｓ２１４、ＮＯ）、動作情報提供部４６６は、ＴＣＵ４１０の近距離通信装置４１４が、現在ユーザについてのいずれかの第２許可ユーザの携帯端末との通信を確立した否かを判断する（Ｓ２１６）。

そして、近距離通信装置４１４が第２許可ユーザの携帯端末との通信を確立したときは（Ｓ２１６、ＹＥＳ）、動作情報提供部４６６は、人物認識部４６８の現在の認識結果に基づき、車両１０２内に登録ユーザである車内人物が存在するか否かを判断する（Ｓ２１８）。そして、車両１０２内に登録ユーザである車内人物が存在するときは（Ｓ２１８、ＹＥＳ）、動作情報提供部４６６は、通信確立された携帯端末から動作情報の送信要求を受信したか否かを判断する（Ｓ２２０）。そして、当該携帯端末から動作情報の送信要求を受信したときは（Ｓ２２０、ＹＥＳ）、動作情報提供部４６６は、近距離通信装置４１４が通信を確立している携帯端末へ動作情報を送信したのち（Ｓ２２２）、ステップＳ２１２に処理を移す。

一方、ステップＳ２１６においていずれかの第２許可ユーザの携帯端末との通信を確立していないとき（Ｓ２１６、ＮＯ）、ステップＳ２１８において車両１０２内に登録ユーザである車内人物が存在しないとき（Ｓ２１８、ＮＯ）、またはステップＳ２２０において通信確立された携帯端末から動作情報の送信要求を受信しないときは（Ｓ２２０、ＮＯ）、動作情報提供部４６６は、ステップＳ２１２に処理を移す。

また、一方、ステップＳ２１４において近距離通信装置４１４がいずれかの第１許可ユーザの携帯端末との通信を確立したときは（Ｓ２１４、ＹＥＳ）、動作情報提供部４６６は、ステップＳ２２２に処理を移す。

なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

例えば、上述した実施形態では、特定許可ユーザ、第１許可ユーザ、及び第２許可ユーザは、それぞれ、一人の人物１４０、１４２、及び１４４により示されているが、特定許可ユーザ、第１許可ユーザ、及び第２許可ユーザの数は、これには限らず、任意の数であり得る。

また、上述した実施形態では、特定許可ユーザである人物１４０、第１許可ユーザである人物１４２、及び第２許可ユーザである人物１４４は、それぞれ、端末装置として携帯端末１５０、１５２、１５４を所持して動作情報を受信するものとしたが、動作情報の受信装置は携帯端末には限られない。特定許可ユーザ、第１許可ユーザ、及び第２許可ユーザは、それぞれ、携帯端末に代えて好みの端末装置を用いて動作情報を受信することができる。

そのような端末装置は、スマートフォン等の携帯端末のほか、その用い方に応じて、デスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ポータブルＰＣ，タブレットＰＣ、車載ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）装置等々、ＢｌｕｅＴｏｏｔｈ等の近距離通信及び又はＷｉＦｉ（登録商標）通信の機能等を備えた任意の装置であるものとすることができる。

また、例えば、上述した実施形態では、人物１４０、１４２、１４４は、端末装置である携帯端末１５０、１５２、１５４を所持して車両１０２に接近するものとしたが、車両１０２の解錠動作を行う車外人物は、必ずしも端末装置を携行する必要はない。車外人物は、何らかの端末装置により利用管理サーバ１０６及び又は車載システム１０４から動作情報を受信した後は、当該動作情報が示す解錠動作を脳に記憶しておくことができる限りにおいて、且つ利用管理サーバ１０６が新たな解錠動作を決定する前である限りにおいて、端末装置を携行することなく、車両１０２に接近して解錠動作を行うことで、車両１０２のドアの開動作を指示することができる。

また、上述した実施形態では、車両制御システム１００は、利用管理サーバ１０６と、車載システム１０４により構成されるものとしたが、車両制御システム１００の構成は、これには限られない。例えば、車両制御システム１００は、利用管理サーバ１０６と同様の機能を有する車載装置と、車載システム１０４と、により、車載装置の集合体として構成されてもよい。あるいは、車両制御システム１００は、車両１０２に搭載される一つの装置として構成されてもよい。

また、あるいは、車両制御装置４０２およびユーザ管理装置４０６は、車載システム１０４ではなく、利用管理サーバ１０６内に設けるものとし、利用管理サーバ１０６と車載の画像取得装置４０４とにより車両制御システム１００が構築されるものとしてもよい。この場合には、利用管理サーバ１０６は、通信ネットワーク１０８および車両１０２のＴＣＵ４１０を介して、画像取得装置４０４から車内画像および車外画像を取得すると共に、ＢＣＭ４０８に指示して車両１０２のドアの開動作を行うものとすることができる。

以上説明したように、本実施形態の車両制御システム１００は、車両１０２の外部環境の画像である車外画像を取得する車外画像取得部４３２と、車両１０２の車室内の画像である車内画像を取得する車内画像取得部４３４と、を備える。また、車両制御システム１００は、車外画像および車内画像に基づいて車両１０２の車内人物の存在の有無を認識すると共に車両１０２の車外人物の動作を認識する人物認識部４６８と、車両１０２のドアの状態を制御するドア制御部４７０と、車外人物が車両１０２のドアの開動作を指示する際に行うべき所定の動作である解錠動作を決定する動作決定部２３０と、を備える。そして、ドア制御部４７０は、人物認識部４６８における認識結果に基づき、車内人物の存在が認識されている場合において、車外人物が、動作決定部２３０が決定した上記解錠動作を行ったときは、車両１０２のドアの開動作を実行する。

この構成によれば、車両１０２のセキュリティを確保しつつ、登録ユーザ以外の人物に対してもスムーズな乗車を支援することができる。

また、車両制御システム１００では、動作決定部２３０は、予め定められたタイミングで解錠動作を決定する。この構成によれば、解錠動作が適宜更新されるので、一度使用された解錠動作が、その後、第三者に用いられて車両１０２のドアが解錠されるのを防止することができる。

また、車両制御システム１００は、車両１０２の利用者として予め登録された登録ユーザの情報および登録ユーザに対し所定の関係にある人物の端末装置に関する端末情報を含むユーザ情報２０６を記憶する記憶装置２０４を備える。また、車両制御システム１００は、車内人物のうち車両１０２の利用者として予め登録された登録ユーザを特定するユーザ特定部４４４と、動作決定部２３０が決定した解錠動作についての動作情報を、車両１０２の外に置かれた端末装置へ配信する動作情報配信部２３２と、を備える。そして、動作情報配信部２３２は、車内人物である登録ユーザに対し所定の関係にある人物の端末装置に動作情報を配信する。

この構成によれば、登録ユーザの家族等、当該登録ユーザと所定の関係にある人物には、解錠動作の決定と共に動作情報が配信されるので、利便性が向上する。

また、車両制御システム１００は、動作決定部２３０が決定した解錠動作についての動作情報を、近距離無線通信により、車両１０２の外に置かれた端末装置へ提供する動作情報提供部４６６を備える。動作情報提供部４６６は、車両１０２に接近する例えば第１許可ユーザの端末装置と通信を確立したときに、当該端末装置へ動作情報を送信する。

この構成によれば、例えば第１許可ユーザは端末装置を持って車両１０２に接近するだけで動作情報を取得できるので、利便性が向上する。

また、車両制御システム１００は、動作決定部２３０が決定した解錠動作についての動作情報を、近距離無線通信により、車両１０２の外に置かれた端末装置へ提供する動作情報提供部４６６と、車内人物のうちの登録ユーザを特定するユーザ特定部４４４と、を備える。そして、動作情報提供部４６６は、人物認識部４６８における認識結果に基づき、登録ユーザである車内人物の存在が認識されていることを条件として、車両１０２に接近する例えば第２許可ユーザの端末装置から要求を受信したことに応じて当該端末装置へ動作情報を送信する。

この構成によれば、例えば登録ユーザが信頼関係の深さ等に基づいて第２許可ユーザとして設定した人物に対しては、より信頼関係の深い第１許可ユーザに比べてより高いセキュリティを確保しつつ、車両１０２への第２許可ユーザのスムーズな乗車を支援し得る。

また、車両制御システム１００では、車両１０２のドアの開動作は、当該ドアを開ける自動動作、又はドアを車両１０２の外部から開けられる状態に設定することである。この構成によれば、ドア制御部４７０は、自動的にドアを開ける動作に限らず、ドア解錠や、ドア内に収納されていたドアノブをドアから出して動作可能な状態にする等の、様々な動作により、車外人物のスムーズな乗車を支援することができる。

また、車両制御システム１００は、車両１０２の車載装置と通信可能に接続されて当該車両制御システムを構成する利用管理サーバ１０６を備え、当該利用管理サーバ１０６は、解錠動作を決定する動作決定部２３０を備える。この構成によれば、車両１０２の車載装置の電源がオフである状態においても、解錠動作を決定して、当該解錠動作を示す動作情報を許可ユーザに配信することができる。また、この構成によれば、例えば一つの利用管理サーバ１０６と複数の車両１０２の車載装置とを通信可能に接続することにより、複数の車両１０２のそれぞれについての解錠動作の決定及び動作情報の配信先管理を１台の利用管理サーバ１０６により行うことができる。

また、車両制御システム１００は、車両制御を行うコンピュータである処理装置２００、４３０、４４０、４６０により、以下の処理を行う車両制御方法を実行する。この車両制御方法は、車両１０２の外部環境の画像である車外画像を取得するステップ（Ｓ２００）と、車両１０２の車室内の画像である車内画像を取得するステップ（Ｓ２００）と、を有する。また、この車両制御方法は、車外画像および車内画像に基づいて、車両１０２の車外人物の動作および車両１０２の車内人物の存在の有無を認識するステップ（Ｓ２０２）と、車両１０２のドアの状態を制御するステップ（Ｓ２０８）と、車外人物がドアの開動作を指示する際に用いるべき所定の動作である解錠動作を決定するステップ（Ｓ１００）と、を有する。そして、上記制御するステップでは、上記認識するステップにおける認識結果に基づき、車内人物の存在が認識されている場合において（Ｓ２０６でＹＥＳ）、車外人物が、上記決定するステップで決定した所定の動作である解錠動作を行ったときに（Ｓ２０４でＹＥＳ）、車両１０２のドアの開動作を実行する。

この構成によれば、車両１０２のセキュリティを確保しつつ、登録ユーザ以外の人物に対してもスムーズな乗車を支援することができる。

１００…車両制御システム、１０２…車両、１０４…車載システム、１０６…利用管理サーバ、１０８…通信ネットワーク、１１０…前席カメラ、１１２…後席カメラ、１１４…フロントカメラ、１１６…右サイドカメラ、１１８…左サイドカメラ、１２０…リアカメラ、１２２…運転席ドア、１２４…助手席ドア、１２６…後部右ドア、１２８…後部左ドア、１３０、１４０、１４２、１４４…人物、１５０、１５２、１５４…携帯端末、２００、４１８、４３０、４４０、４６０…処理装置、２０２…通信装置、２０４、４４２、４６２…記憶装置、２０６…ユーザ情報、２０８…登録ユーザ情報、２１０…顔画像情報、２１２…個人情報、２１４…特定ユーザ情報、２１６…第１許可ユーザ情報、２１８…第２許可ユーザ情報、２３０…動作決定部、２３２…動作情報配信部、２３４…ユーザ登録部、２３６…ユーザ情報提供部、４００…車載ネットワークバス、４０２…車両制御装置、４０４…画像取得装置、４０６…ユーザ管理装置、４０８…ＢＣＭ、４１０…ＴＣＵ、４１２…ＵＩ制御装置、４１４…近距離通信装置、４１６…遠距離通信装置、４２０…表示装置、４２２…タッチパネル、４２４…スピーカ、４２６…マイク、４３２…車外画像取得部、４３４…車内画像取得部、４４４…ユーザ特定部、４４６…ユーザ情報取得部、４４８…車内人物情報、４５０…ユーザ関連情報、４６４…動作情報取得部、４６６…動作情報提供部、４６８…人物認識部、４７０…ドア制御部。

Claims (8)

1. 車両の外部環境の画像である車外画像を取得する車外画像取得部と、
   前記車両の車室内の画像である車内画像を取得する車内画像取得部と、
   前記車外画像および前記車内画像に基づいて、前記車両の車内人物の存在の有無を認識すると共に前記車両の車外人物の動作を認識する人物認識部と、
   前記車両のドアの状態を制御するドア制御部と、
   前記車外人物が前記ドアの開動作を指示する際に行うべき所定の動作を決定する動作決定部と、
   を備え、
   前記ドア制御部は、
   前記人物認識部における認識結果に基づき、前記車内人物の存在が認識されている場合において、前記車外人物が、前記動作決定部が決定した前記所定の動作を行ったときは、前記ドアの開動作を実行する、
   車両制御システム。
2. 前記動作決定部は、予め定められたタイミングで前記所定の動作を決定する、
   請求項１に記載の車両制御システム。
3. 前記車両の利用者として予め登録された登録ユーザの情報および前記登録ユーザに対し所定の関係にある人物の端末装置に関する端末情報を含むユーザ情報を記憶する記憶装置と、
   前記車内人物のうち前記車両の利用者として予め登録された登録ユーザを特定するユーザ特定部と、
   前記動作決定部が決定した前記所定の動作についての動作情報を、前記車両の外に置かれた端末装置へ配信する動作情報配信部と、
   を備え、
   前記動作情報配信部は、前記車内人物である前記登録ユーザに対し前記所定の関係にある人物の前記端末装置に前記動作情報を配信する、
   請求項１または２に記載の車両制御システム。
4. 前記動作決定部が決定した前記所定の動作についての動作情報を、近距離無線通信により、前記車両の外に置かれた端末装置へ提供する動作情報提供部を備え、
   前記動作情報提供部は、前記車両に接近する端末装置と通信を確立したときに、当該端末装置へ前記動作情報を送信する、
   請求項１ないし３のいずれか一項に記載の車両制御システム。
5. 前記動作決定部が決定した前記所定の動作についての動作情報を、近距離無線通信により、前記車両の外に置かれた端末装置へ提供する動作情報提供部と、
   前記車内人物のうち前記車両の利用者として予め登録された登録ユーザを特定するユーザ特定部を備え、
   前記動作情報提供部は、
   前記人物認識部における認識結果に基づき、前記登録ユーザである前記車内人物の存在が認識されていることを条件として、前記端末装置から要求を受信したことに応じて当該端末装置へ前記動作情報を送信する、
   請求項１ないし３のいずれか一項に記載の車両制御システム。
6. 前記開動作は、前記ドアを開ける自動動作、又は前記ドアを前記車両の外部から開けられる状態に設定すること、である、
   請求項１ないし５のいずれか一項に記載の車両制御システム。
7. 前記動作決定部を備え、前記車両の車載装置と通信可能に接続されて請求項１ないし６のいずれか一項に記載の車両制御システムを構成するサーバ。
8. 車両制御を行うコンピュータが実行する車両制御方法であって、
   車両の外部環境の画像である車外画像を取得するステップと、
   前記車両の車室内の画像である車内画像を取得するステップと、
   前記車外画像および前記車内画像に基づいて、前記車両の車外人物の動作および前記車両の車内人物の存在の有無を認識するステップと、
   前記車両のドアの状態を制御するステップと、
   前記車外人物が前記ドアの開動作を指示する際に用いるべき所定の動作を決定するステップと、
   を備え、
   前記制御するステップでは、
   前記認識するステップにおける認識結果に基づき、前記車内人物の存在が認識されている場合において、前記車外人物が、前記決定するステップで決定した前記所定の動作を行ったときは、前記ドアの開動作を実行する、
   車両制御方法。
   

Images