JP7354056B2 - 車両制御システム、及び車両制御方法 - Google Patents

Description

本発明は、車載装備の動作制御に関し、特に車両ドアの開閉に係る動作を制御する車両制御システムおよび車両制御方法に関する。

従来、画像認証を用いた車両のエントリーシステムが知られている（例えば、特許文献１参照）。このエントリーシステムでは、車両を利用する人物（車両利用者）の虹彩画像を予め登録しておくものとし、車両に接近してドアノブに手を延ばした人が検出された場合に、その人の虹彩画像を撮像して本人確認を実行する。そして、上記エントリーシステムは、車両利用者本人であることが確認された場合にドアを解錠するようにしている。このエントリーシステムによれば、虹彩画像を予め登録しておいた車両利用者は、車両に近づいてドアノブに手を延ばしただけでドアを解錠することができるので、車両に乗車する際の車両利用者の負担を軽減することができる。

一方、ドア解錠等のドア開閉動作に係る自動動作が望まれるシーンとしては、登録した車両利用者本人の乗車のみならず、例えば当該車両利用者がその車両を用いて他の人物を迎えに行くような場面において、当該他の人物が乗車する場合が考えられる。この場合、上記他の人物の接近に伴って車両ドアが自動解錠されるようにする手法として、その人物が出迎え対象である人物であるか否かを判断するための情報を、車両利用者に関連付けて予め車両に登録しておくことが考えられる。しかしながら、車両利用に伴って乗車の可能性のある人物（乗車予定者）をいちいち登録するのでは、利用に伴う準備作業が煩雑となり不便である。

また、上記のように乗車予定者を予め登録しておく場合には、車両に接近した乗車予定者が任意のドアから乗車し得ることとなり得るため、車内にいる車両利用者にとっては思わしくない場合があり得る。例えば、車両利用者と共に赤子が乗車している場合に、乗車予定者がこれに気づかず赤子の居る座席のドアを開けてしまうと、その赤子は寒風や雨などに晒されてしまう場合があり得る。また、あるいは、乗車予定者が多くの荷物または大きな荷物を持っている場合には、乗車予定者が助手席ドアから乗車したのでは、荷物がシフトレバー等の操作の邪魔となり得て、望ましくない。

また、例えば、乗車予定者が複数の場合には、乗車予定者の人員構成（男女、子供と大人など）や、関係性（家族、知人、それらの友人など）、あるいは乗車予定者の状態（荷物が多い、脚が悪いなど）等々に起因して、車内の雰囲気づくりや乗車予定者への配慮等の観点から、乗車予定者の座席への配置は、車両利用者の管理の下に行われることが望ましいことが多い。

特開２００３－１３８８１７号公報

上記背景より、車両のドア開閉に係る動作を制御する車両制御において、車両のセキュリティを確保しつつ、かつ登録された車両利用者にとって望ましい座席割当となるように、当該車両利用者以外の人物に対しスムーズな乗車を支援することが望まれている。

本発明の一の態様は、車両の外部環境の画像である車外画像を取得する車外画像取得部と、前記車両の車室内の画像である車内画像を取得する車内画像取得部と、前記車外画像および前記車内画像に基づいて、前記車両の車外人物および車内人物のそれぞれの動作を認識する人物認識部と、前記車両のドアの状態を制御するドア制御部と、を備え、前記ドア制御部は、前記人物認識部における認識結果に基づき、前記車両に接近する車外人物が認識された場合において、前記車内人物が前記車両のいずれかの座席を示す指示動作を行ったときに、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する、車両制御システムである。
本発明の他の態様によると、前記ドア制御部は、前記車内人物が顔又は視線を前記接近する車外人物に向けたことを条件として、前記車内人物が前記指示動作を行ったとき、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する。
本発明の他の態様によると、前記ドア制御部は、前記人物認識部が複数の前記接近する車外人物を認識したときは、前記認識された複数の前記接近する車外人物の顔画像を表示し、前記表示した前記複数の前記接近する車外人物の数に等しい回数を上限として、前記車内人物による前記指示動作に応じて、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する。
本発明の他の態様によると、前記車両制御システムは、前記車内人物のうち前記車両の利用者として予め登録された登録ユーザを特定するユーザ特定部を備え、前記ドア制御部は、前記車内人物が前記指示動作を行ったときは、当該車内人物が前記登録ユーザであることを条件として、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する。
本発明の他の態様によると、前記ドア制御部は、前記登録ユーザである前記車内人物による前記指示動作が認識された後は、前記登録ユーザでない他の前記車内人物が前記指示動作を行った場合にも、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する。
本発明の他の態様によると、前記ドア制御部は、前記指示動作により示された前記座席が他の前記車内人物により占有されていないときに、当該座席に対応する前記ドアの開動作を実行する。
本発明の他の態様によると、前記開動作は、前記ドアを開ける自動動作、又は前記ドアを前記車両の外部から開けられる状態に設定すること、である。
本発明の他の態様は、車両制御を行うコンピュータが実行する車両制御方法であって、車両の外部環境の画像である車外画像を取得するステップと、前記車両の車室内の画像である車内画像を取得するステップと、前記車外画像および前記車内画像に基づいて、前記車両の車外人物および車内人物の動作をそれぞれ認識するステップと、前記車両のドアの状態を制御するステップと、を備え、前記制御するステップでは、前記認識するステップにおける認識結果に基づき、前記車両に接近する車外人物が認識された場合において、前記車内人物が前記車両のいずれかの座席を示す指示動作を行ったときに、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する。

本発明によれば、車両のドア開閉に係る動作を制御する車両制御において、車両のセキュリティを確保しつつ、かつ登録された車両利用者にとって望ましい座席割当となるように、当該車両利用者以外の人物に対しスムーズな乗車を支援することができる。

本発明の一実施形態に係る車両制御システムを備える車両が利用されるシーンの一例を示す図である。 本発明の一実施形態に係る車両制御システムの構成を示す図である。 図２に示す車両制御システムの動作の手順の一例を示すフロー図である。

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の一実施形態に係る車両制御システムが利用されるシーンの一例を示す図である。本実施形態に係る車両制御システム１００は、例えば、車両１０２に搭載された複数の電子制御装置（ＥＣＵ、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）で構成され、車両１０２の座席ドアの開動作を制御する。

車両制御システム１００は、通信ネットワーク１０４を介して、例えば車両１０２の外部に設けられた利用管理サーバ１０６と通信可能に接続されている。通信ネットワーク１０４は、例えばインターネット等のオープンネットワーク、又はプライベートネットワークであるものとすることができる。利用管理サーバ１０６は、車両１０２についての予め登録された利用者（登録ユーザ）の情報を保持する。当該情報には、例えば、登録ユーザの顔画像、識別ＩＤ、及び又は個人情報（年齢、性別、携帯端末情報）等が含まれ得る。

車両１０２は、車室内を撮影する車内カメラである前席カメラ１１０及び後席カメラ１１２を備える。前席カメラ１１０は、例えばルームミラーに設けられ、車室内のうち車両１０２の前半分のエリアを撮影する。後席カメラ１１２は、例えば車室内のルーフ内面に設けられ、車室内のうち後ろ半分のエリアを撮影する。

また、車両１０２は、車外の周囲環境を撮影する車外カメラであるフロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０を備える。フロントカメラ１１４は、例えばフロントバンパーに設けられ、周囲環境のうち車両１０２の前方エリアを撮影する。右サイドカメラ１１６および左サイドカメラ１１８は、例えば車両１０２の右側ピラーおよび左側ピラーに設けられ、それぞれ、周囲環境のうちの車両１０２の右側エリアおよび左側エリアを撮影する。また、リアカメラ１２０は、例えばリアバンパーまたはテールゲート上部に設けられ、周囲環境のうち車両１０２の後方エリアを撮影する。

車両１０２は、例えば、当該車両１０２の利用者として利用管理サーバ１０６に予め登録された複数の登録ユーザのそれぞれにより利用され得る。車両１０２は、例えば自家用車やシェアカー等であり得る。

車両１０２は、図１に示す例では、前部座席ドアである運転席ドア１２２及び助手席ドア１２４と、後部座席ドアである後部右ドア１２６および後部左ドア１２８と、の４つのドアを備える。車両１０２の車両制御システム１００は、車両１０２の車室内にいる人物（車内人物）の行動と、車両１０２の外部にいる人物（車外人物）の行動と、に基づいて、車両１０２の上記４つのドアの開動作を制御する。

ここで、ドアの開動作とは、車外人物が車両１０２に乗り込めるようにドアの状態を設定する動作をいい、単なるドアロックの解錠のほか、ドアに設けられたアクチュエータにより当該ドアを自動で開ける自動動作が含まれ得る。また、例えばドア開閉のための取っ手（ドアハンドル又はドアノブ）がドアボディ内に収納されるタイプのドアでは、上記ドアロックの解錠には、アクチュエータにより上記ドアハンドルをドアボディから出して、車外人物によるドアの開操作を可能にすることが含まれ得る。

図１に示すシーンでは、例えば、車両１０２の現在の利用者（現在ユーザ）であって登録ユーザである人物１３０が、助手席および後部左座席を占有する非登録ユーザである人物１３２および人物１３４と共に車両１０２に乗車して、駅（不図示）に到着する知人を出迎えに来ている。非登録ユーザである人物１３２および１３４は、例えば、登録ユーザである人物１３０の子供もしくは家族の一員、または友人もしくは知人等であり得る。車両１０２の外部には、駅から出てきた人物１４０、１４２、１４４、１４６、１４８が、それぞれ所望の方向に移動している。

車外の人物１４２は、車両１０２の人物１３０、１３２、１３４の出迎えの対象者であり、車両１０２へ向かって移動している。

上記シーンにおいて、車両制御システム１００は、車外カメラであるフロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０により、車両１０２の外部環境の画像である車外画像を取得する。また、車両制御システム１００は、車内カメラである前席カメラ１１０及び後席カメラ１１２により、車両１０２の車室内の画像である車内画像を取得する。ここで、車外画像および車内画像は、動画（映像）として取得されるものとしてもよいし、所定の時間間隔で繰り返し取得される静止画でもよい。

車両制御システム１００は、上記取得した車外画像および車内画像に基づいて、車外人物および車内人物の動作ならびに車内の座席の占有状況を認識する。そして、車両制御システム１００は、車両１０２に接近する車外人物（接近人物）が認識（または検知）された場合において、車内人物が車両１０２のいずれかの座席を示す指示動作を行ったときに、当該指示動作により示された座席に対応するドアの開動作を実行する。

ここで、上記指示動作は、物や場所を指し示す場合に人が一般的に行う動作、または予め定められた所定の動作であるものとすることができる。そのような指示動作は、人差し指で座席の方向を指さす動作のほか、例えば、親指を立てて肩越しに後方の座席を示す動作、首を傾けて特定の座席の方向を示す動作、頭や顎を使って特定の座席の方向を示す動作、等々であり得る。

図１に示すシーンでは、車両制御システム１００は、例えば左サイドカメラ１１８等により得られる車外画像から、車両１０２に接近する人物（接近人物）として人物１４２を検知する。また、車両制御システム１００は、車内画像により、人物１３０が後部右座席を指さす動作を、座席を示す指示動作として認識する。そして、車両制御システム１００は、接近人物である人物１４２に視線（図示の点線矢印）を向けている人物１３０の上記指示動作が、後部右座席を示す指示動作であることを認識し、当該後部右座席に対応する後部右ドア１２６の開動作を実行する。

これにより、車両制御システム１００は、車内人物の存在を前提とすることで車両のセキュリティを確保しつつ、かつ車両利用者の指示動作に基づき当該車両利用者にとって望ましい座席割当となるように、当該車両利用者以外の人物に対しスムーズな乗車を支援することができる。

次に、図２を参照して、車両制御システム１００の構成について説明する。車両制御システム１００は、本実施形態では、車載の電子制御装置（ＥＣＵ、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である車両制御装置２０２と、画像取得装置２０４と、ユーザ管理装置２０６と、で構成されている。

車両制御装置２０２と、画像取得装置２０４と、ユーザ管理装置２０６と、は車載ネットワークバス２００を介して通信可能に接続されている。車載ネットワークバス２００には、さらに、ＢＣＭ（ボディコントロールモジュール）２０８と、ＴＣＵ（テレマティクスコントロールユニット）２１０と、ＵＩ（ユーザインタフェース）制御装置２１２が接続されている。

ＢＣＭ２０８は、ＣＰＵ等の処理装置（不図示）を備え、車両１０２の運転席ドア１２２、助手席ドア１２４、後部右ドア１２６、後部左ドア１２８に設けられたアクチュエータを制御して、これらのドアの開動作を制御する。

ＴＣＵ２１０は、近距離通信装置２１４と、遠距離通信装置２１６と、これらの通信装置の動作を制御する処理装置２１８と、を備える。処理装置２１８は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。近距離通信装置２１４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信規格に従って携帯端末等と通信する無線通信装置である。また、遠距離通信装置２１６は、通信ネットワーク１０４を介して、例えば利用管理サーバ１０６や携帯端末等と通信するための無線通信装置である。

ＵＩ制御装置２１２は、ＣＰＵ等の処理装置（不図示）を備え、車両１０２が備える車両制御装置２０２等の他の装置の指示により、車両１０２の車室内に設けられた表示装置２２０に画像を表示し、およびスピーカ２２４から音声を出力する。また、ＵＩ制御装置２１２は、マイク２２６から車室内の音声を取得すると共に、当該音声についての音声認識処理を行って、上記音声及び又は音声認識処理の結果を他の装置へ出力する。また、ＵＩ制御装置２１２は、表示装置２２０の表示スクリーン上に設けられたタッチパネル２２２を介して車両１０２の乗員から入力される指示及び又はデータを取得し、取得した指示及び又はデータを他の装置へ出力する。

車両制御システム１００を構成する画像取得装置２０４は、ＣＰＵ等のプロセッサを備えたコンピュータである処理装置２３０を備え、機能要素又は機能ユニットとして、車外画像取得部２３２と、車内画像取得部２３４と、を備える。これらの機能要素は、例えば、コンピュータである処理装置２３０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２３０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

車外画像取得部２３２は、フロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０を制御し、これらの車外カメラから、車両１０２の外部環境の画像である車外画像を取得する。また、車内画像取得部２３４は、前席カメラ１１０および後席カメラ１１２を制御し、これらの車内カメラから、車両１０２の車室内の画像である車内画像を取得する。車外画像および車内画像は、それぞれ所定の時間間隔で繰り返し撮像される静止画像または所定のフレームレートの動画像であるものとすることができる。画像取得装置２０４は、上記取得した車外画像および車内画像を、車載ネットワークバス２００を介して他の装置へ出力する。

車両制御システム１００を構成するユーザ管理装置２０６は、車内人物が車両１０２の利用者として予め登録された登録ユーザであるか否かを特定する。

具体的には、ユーザ管理装置２０６は、処理装置２４０と記憶装置２４２とを備える。記憶装置２４２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置２４０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置２４０は、機能要素又は機能ユニットとして、ユーザ特定部２４４を備える。

処理装置２４０が備える上記機能要素は、例えば、コンピュータである処理装置２４０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２４０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

ユーザ特定部２４４は、画像取得装置２０４から車内画像を受信し、当該受信した車内画像に基づき、車両１０２の中にいる車内人物のそれぞれについての顔画像認証を行って、車内人物が登録ユーザであるか否かを特定する。具体的には、ユーザ特定部２４４は、利用管理サーバ１０６に既に登録されている各登録ユーザの顔画像を利用管理サーバ１０６から取得して上記車内画像中の車内人物の顔画像と比較することにより、車内人物のそれぞれが登録ユーザであるか否かを判断する。

ユーザ特定部２４４は、例えば、車内人物のそれぞれの顔画像と、それぞれの車内人物が登録ユーザであるか非登録ユーザであるかを示す識別情報と、で構成される車内人物情報２４８を、記憶装置２４２に記憶する。上記識別情報には、例えば、それぞれの登録ユーザに予め付与されている識別ＩＤなどが含まれ得る。これにより、車両１０２の車内人物のうち、車内人物情報２４８において上記顔画像に対応付けて上記識別ＩＤを含む識別情報が記憶されている車内人物は、登録ユーザであるものと判断され得る。

ユーザ特定部２４４は、また、車両１０２の利用開始時において運転席に乗車している車内人物を、車両１０２の現在の利用者（現在ユーザ）として特定し、車内人物情報２４８において、現在ユーザの顔画像に対応付けられた上記識別情報に、当該顔画像の人物が現在ユーザであることを示す情報を付加する。上記に加えて、ユーザ特定部２４４は、非登録ユーザのそれぞれについて、その顔画像から推定される当該非登録ユーザの性別や年齢等の情報を、車内人物情報２４８に加えるものとすることができる。

本実施形態では、ユーザ特定部２４４は、車両１０２の運転席に乗車した人物１３０を登録ユーザ且つ現在ユーザとして特定し、人物１３２、１３４を非登録ユーザとして特定する。そして、ユーザ特定部２４４は、人物１３０、１３２、及び１３４についての車内人物情報２４８を記憶装置２４２に記憶する。

車両制御システム１００を構成する車両制御装置２０２は、画像取得装置２０４から受信する車外画像及び車内画像、並びにユーザ管理装置２０６から取得される車内人物情報に基づき、ＢＣＭ２０８に指示して車両ドアの開動作を制御する。

具体的には、車両制御装置２０２は、処理装置２５０と記憶装置２５２とを備える。記憶装置２５２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置２５０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置２５０は、機能要素又は機能ユニットとして、人物認識部２５４と、ドア制御部２５６と、を備える。

処理装置２５０が備えるこれらの機能要素は、例えば、コンピュータである処理装置２５０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２５０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

人物認識部２５４は、画像取得装置２０４から受信される車外画像および車内画像に基づいて、車外人物および車内人物の動作をそれぞれ認識する。具体的には、人物認識部２５４は、車両１０２に接近する車外人物（以下、接近人物ともいう）を認識する。また、人物認識部２５４は、車内人物が、上記接近する車外人物に対し予め定められた所定の動作を行っているか否かを判断する。ここで、上記所定の動作は、例えば、所定時間に亘って対象人物に顔又は視線を向けることであり得る。これに加えて、上記所定の動作は、対象人物を注視すること、対象人物に対して所定の顔の表情を形成すること、及び又は、対象人物に対する所定のジェスチャー等であってもよい。

また、人物認識部２５４は、車内画像に基づき、車両１０２のいずれかの車内人物が車両１０２のいずれかの座席を示す指示動作を行ったか否かを認識する。また、人物認識部２５４は、指示動作を認識したときは、当該指示動作がどの座席を示すものであるかを認識する。

さらに、人物認識部２５４は、車内画像に基づき、車両１０２の座席の占有状況を認識する。すなわち、人物認識部２５４は、車両１０２の車室内のどの座席が空いていて、どの座席が占有されているか（人が座っているか及び又は物が置かれているか）を認識する。

ドア制御部２５６は、人物認識部２５４における認識結果に基づき、車両１０２に接近する車外人物（接近人物）が認識された場合において、車内人物が車両１０２のいずれかの座席を示す指示動作を行ったときに、当該指示動作により示された座席に対応するドアの開動作を実行する。

例えば図１に示すシーンでは、人物認識部２５４は、車両１０２に接近する車外人物として人物１４２を検出する。また、人物認識部２５４は、当該人物１３０が車両１０２の後部右座席を示す指示動作（図示の例では指差し動作）を行っていることを認識する。そして、ドア制御部２５６は、人物認識部２５４における上記認識結果に基づき、ＢＣＭ２０８に指示して、人物１３０の指示動作が示す後部右座席に対応する後部右ドア１２６の開動作を実行する。

上記において、ドア制御部２５６は、接近人物が検知されたときは、任意の車内人物が行った指示動作に基づいて、当該指示動作が示す座席のドアの開動作を実行してもよい。例えば、図１のシーンでは、運転席の人物１３０に代えて助手席の人物１３２が指示動作を行った場合にも、ドア制御部２５６は、当該指示動作に基づいて車両１０２の開動作を実行するものとすることができる。

上記に加えて、ドア制御部２５６は、さらに、車内人物が指示動作を行ったときは、当該車内人物が登録ユーザであることを条件として、当該指示動作に基づくドア開動作を実行してもよい。例えば図１のシーンでは、人物認識部２５４が人物１４２を接近人物として認識し且つ車内の人物１３０の指示動作を認識したときは、ドア制御部２５６は、ユーザ管理装置２０６に問い合わせて車内人物情報２４８を参照し、人物１３０が登録ユーザであることを知る。これにより、ドア制御部２５６は、登録ユーザである人物１３０の指示動作に基づいて、車両１０２の後部右ドア１２６の開動作を実行し得る。

また、ドア制御部２５６は、登録ユーザである車内人物による指示動作が認識された後は、登録ユーザでない他の車内人物が指示動作を行った場合にも、当該登録ユーザでない車内人物の指示動作により示された座席に対応するドアの開動作を実行してもよい。例えば、図１のシーンでは、登録ユーザである人物１３０が、誤って、人物１３４が占有する後部左座席を示す指示動作を行い、これを人物認識部２５４が認識したときは、その後、非登録ユーザである人物１３２が後部右座席を示す指示動作を行ったことを人物認識部２５４が認識すると、ドア制御部２５６は、後部右ドア１２６の開動作を実行する。

また、ドア制御部２５６は、人物認識部２５４が複数の接近する車外人物を認識したときは、認識されたこれら複数の接近する車外人物の顔画像を、例えばＵＩ制御装置２１２を介して表示装置２２０に表示する。そして、ドア制御部２５６は、表示した複数の接近する車外人物の数に等しい回数を上限として、車内人物による指示動作に応じて、当該指示動作により示された座席に対応するドアの開動作を実行する。

例えば、図１のシーンでは、人物認識部２５４が車外画像に基づいて人物１４０、１４２を接近人物として認識した場合、ドア制御部２５６は、人物１４０、１４２の顔画像を、ＵＩ制御装置２１２を介して表示装置２２０に表示する。そして、ドア制御部２５６は、接近人物の数に等しい回数、すなわち２回を上限として、車内の人物１３０（または人物１３２、１３４）による指示動作のそれぞれに応じて、当該指示動作により示された座席に対応するドアの開動作を実行する。

例えば、人物１３４が後部中央座席に移動している場合には、ドア制御部２５６は、後部左座席を示す指示動作と後部右座席を示す指示動作の、２回の指示動作に応じて、それぞれ後部左ドア１２８および後部右ドア１２６の開動作を実行する。この場合において、ドアの開動作は、上述したように、車内の任意の人物１３０、１３２、又は１３４の指示動作に応じて行われるものとしてもよいし、登録ユーザである人物１３０の２回の指示動作に限って行われてもよい。あるいは、登録ユーザである人物１３０の２回の指示動作のそれぞれについて、それら指示動作の後に非登録ユーザである人物１３２又は１３４が行う指示動作に応じて、ドアの開動作が実行されてもよい。

上記の構成を有する車両制御システム１００は、車両１０２に接近する車外人物を検知した場合に、車内人物が車両１０２のいずれかの座席を示す指示動作を行ったことを検知すると、当該指示動作が示す座席に対応するドアの開動作を実行する。これにより、車両制御システム１００では、車内人物の存在を前提とすることで車両のセキュリティを確保しつつ、かつ車両利用者の指示動作に従って望ましい座席割当となるように、当該車両利用者以外の人物に対しスムーズな乗車を支援することができる。

次に、車両制御システム１００の動作について説明する。図３は、車両制御システム１００の処理の手順を示すフロー図である。この処理は、車両１０２が停車又は駐車されたとき、例えば車速が所定速度（例えば５ｋｍ／ｈ）未満となったときに開始する。車両制御システム１００を構成する各装置は、例えば、車速センサ（不図示）が接続されたＢＣＭ２０８を介して車両１０２の車速についての情報を得るものとすることができる。

なお、図３に示す処理と並行して、画像取得装置２０４は、それぞれ所定の時間間隔で、前席カメラ１１０および後席カメラ１１２により車内画像を取得し、並びにフロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０により車外画像を取得するものとする。また、図３に示す処理と並行して、ユーザ管理装置２０６は、例えば、車両１０２に対し利用の開始を示す所定の操作が行われたときから、車両１０２に対し利用の終了を示す所定の操作が行われるまでの期間において、車両１０２を乗り降りする人物を認識して、車内人物情報２４８を記憶装置２４２に記憶するものとする。

ここで、上記利用の開始を示す所定の操作及び利用の終了を示す所定の操作は、それぞれ、例えば現在ユーザが行う車両１０２のイグニションキーのオン操作およびオフ操作であるものとすることができる。ユーザ管理装置２０６は、イグニションキーのオン操作およびオフ操作があったことを、例えばイグニションキーセンサ（不図示）が接続されたＢＣＭ２０８から取得するものとすることができる。

図３に示す処理を開始すると、車両制御システム１００を構成する車両制御装置２０２の人物認識部２５４は、画像取得装置２０４から取得される車外画像及び車内画像に基づき車外人物および車内人物の認識処理を開始し、車両１０２に接近する車外の人物（接近人物）を検知したか否かを判断する（Ｓ１００）。そして、接近人物を検知していないときは（Ｓ１００、ＮＯ）、人物認識部２５４は、ステップＳ１００に戻って接近人物を検知するのを待機する。

一方、人物認識部２５４が接近人物を検知したときは（Ｓ１００、ＹＥＳ）、ドア制御部２５６は、実行上限回数Ｉｒを１にセットしたのち（Ｓ１０２）、実行カウントＩｃを０（ゼロ）にリセットする（Ｓ１０４）。続いて、ドア制御部２５６は、人物認識部２５４の認識結果に基づき、車両１０２に接近する人物（接近人物）が一人か否かを判断する（Ｓ１０６）。

そして、ドア制御部２５６は、接近人物が一人であるときは（Ｓ１０６、ＹＥＳ）、車両内の人物（車内人物）による指示動作、すなわち、車両１０２のいずれかの座席を示す動作を検知したか否かを判断する（Ｓ１０８）。そして、ドア制御部２５６は、指示動作を検知していないときは（Ｓ１０８、ＮＯ）、ステップＳ１００における接近人物の検知から所定時間の間、または最後に指示動作を検知してから所定時間の間、指示動作が不検知であったか否かを判断する（Ｓ１１０）。

そして、ドア制御部２５６は、所定時間のあいだ指示動作が不検知であったときは（Ｓ１１０、ＹＥＳ）、後述するステップＳ１２８へ処理を移す。一方、そうでないとき、すなわち、ステップＳ１００における接近人物の検知から未だ経過時間が経過していないとき、または最後に指示動作を検知してから未だ所定時間が経過していないときは（Ｓ１１０、ＮＯ）、ドア制御部２５６は、ステップＳ１０８に戻って処理を繰り返す。

一方、ステップＳ１０８において車内人物の指示動作を検知したときは（Ｓ１０８、ＹＥＳ）、ドア制御部２５６は、ユーザ管理装置２０６を介して記憶装置２４２の車内人物情報２４８を参照し、その指示動作を行った車内人物が非登録ユーザであるか否かを判断する（Ｓ１１２）。そして、指示動作を行った車内人物が非登録ユーザであるときは（Ｓ１１２、ＹＥＳ）、ドア制御部２５６は、その非登録ユーザの指示動作が、登録ユーザの指示動作の後に行われたものであるか否かを判断する（Ｓ１１４）。

そして、その非登録ユーザの指示動作が、登録ユーザの指示動作の後に行われたものでないときは（Ｓ１１４、ＮＯ）、ドア制御部２５６は、ステップＳ１０８に戻って処理を繰り返す。一方、その非登録ユーザの指示動作が、登録ユーザの指示動作の後に行われたものであるときは（Ｓ１１４、ＹＥＳ）、ドア制御部２５６は、その指示動作により示された座席が、例えば人物や荷物等により占有されているか否かを判断する（Ｓ１１６）。

そして、上記指示動作により示された座席が占有されているときは（Ｓ１１６、ＹＥＳ）、ドア制御部２５６は、ステップＳ１０８に戻って処理を繰り返す。一方、上記指示動作により示された座席が占有されていないときは（Ｓ１１６、ＮＯ）、ドア制御部２５６は、その座席に対応するドアの開動作を実行する（Ｓ１１８）。ここで、ドア制御部２５６は、上記指示動作を行った車内人物が所定時間に亘って接近人物に対し視線または顔を向けたことを条件として、ドアの開動作を実行するものとすることができる。この場合において、上記指示動作を行った車内人物が所定時間に亘って接近人物に対し視線または顔を向けていないときは、ドア制御部２５６は、ステップＳ１０８に戻って処理を繰り返すものとすることができる。

次に、ドア制御部２５６は、実行カウントＩｃを１だけ増加させたのち（Ｓ１２０）、その実行カウントＩｃが、実行上限回数Ｉｒに到達したか否かを判断する（Ｓ１２２）。そして、ドア制御部２５６は、実行カウントＩｃが実行上限回数Ｉｒに達したときは（Ｓ１２２、ＹＥＳ）、車両１０２が停車又は駐車を終えて発進したか否かを判断する（Ｓ１２８）。ドア制御部２５６は、例えば、車両１０２の車速が所定の速度（例えば、５ｋｍ／ｈ）以上となったときに、車両１０２が発進したものと判断することができる。上述したように、ドア制御部２５６は、例えばＢＣＭ２０８を介して車両１０２の車速についての情報を得るものとすることができる。そして、車両１０２が発進していないときは（Ｓ１２８、ＮＯ）、ドア制御部２５６は、ステップＳ１００に戻って、接近人物が新たに検知されるのを待機する。一方、ステップＳ１２２において実行カウントＩｃが実行上限回数Ｉｒに達していないときは（Ｓ１２２、ＮＯ）、ドア制御部２５６は、ステップＳ１０８に戻って、上述した所定時間内に車内人物が新たに指示動作を行うのを待機する。

一方、ステップＳ１１２において、指示動作を行った車内人物が非登録ユーザでないとき、すなわち、その車内人物が登録ユーザであるときは（Ｓ１１２、ＮＯ）、ドア制御部２５６は、ステップＳ１１６に処理を移す。

また、一方、ステップＳ１０６において、接近人物が一人でないとき、すなわち、接近人物が複数人であるときは（Ｓ１０６、ＮＯ）、ドア制御部２５６は、例えばＵＩ制御装置２１２に指示して表示装置２２０により、上記接近人物の顔画像を表示する（Ｓ１２４）。次に、ドア制御部２５６は、実行上限回数Ｉｒを上記接近人物の数にセットしたのち（Ｓ１２６）、ステップＳ１０８に処理を移す。

なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

例えば、本実施形態では、一例として、車両１０２は４つの座席用ドアを有するものとしたが、車両制御システム１００が搭載される車両１０２の構成は、これには限られない。車両１０２は、２以上の任意の数の座席用ドアを備える車両であるものとすることができる。例えば、車両１０２は、６つまたは８つの座席用ドアを備え得る。

また、本実施形態では、車両１０２には現在ユーザである一人の登録ユーザ（人物１３０）と二人の非登録ユーザ（人物１３２および１３４）が乗車しているものとしたが、車両１０２の乗員構成は、これには限られない。車両１０２には、一人以上の登録ユーザが乗車していればよい。例えば、車両１０２には、複数の登録ユーザが乗車していてもよい。また、車両１０２には、非登録ユーザが一人も乗車していなくてもよいし、任意の数の非登録ユーザが乗車していてもよい。

ここで、ドア制御部２５６は、登録ユーザである任意の車内人物の指示動作により、又はいずれかの登録ユーザである車内人物の指示動作があったことを前提していずれかの非登録ユーザである車内人物の指示動作により、ドアの開動作を実行するものとすることができる。この場合において、複数の登録ユーザ間または複数の非登録ユーザ間において指示動作が異なる場合には、予め定められた優先順位に従って、優先順位の高い指示動作に基づいてドア開動作が行われるものとすることができる。上記優先順位は、例えば、その指示動作を行った人物の年齢順、またはタイミング順（最後の指示を最優先とする等）であり得る。

あるいは、ドア制御部２５６は、登録ユーザか非登録ユーザかを問わず、任意の車内人物の指示動作に応じて、当該指示動作が示す座席のドアの開動作を行うものとして構成されていてもよい。非登録ユーザである車内人物による指示動作は、その必要があれば同じ車内にいる登録ユーザにより何らかの形（車内人物や車外人物への声による指示など）で即座に訂正され得るので、上記のように構成しても、車内人物の存在により車両１０２のセキュリティを確保しつつ、且つ登録ユーザである車内人物にとって望ましい座席配置となるように、車外人物のスムーズな乗車を支援し得るためである。

ただし、上述した実施形態のように、登録ユーザである車内人物の指示動作に基づくドア開動作をメインとし、非登録ユーザである車内人物の指示動作に基づくドア開動作を、登録ユーザである車内人物の指示動作が行われたことを条件とする補足的な動作としておくほうが、登録ユーザである車内人物が望む座席配置を、より直接的に実現することができる。

また、本実施形態では、車両制御装置２０２のドア制御部２５６は、接近人物が複数あるときには、接近人物の数を実行上限回数Ｉｒとして設定して、車内人物による指示動作に応じたドア開動作を（例えば複数回）実行し得るものとしたが、ドア制御部２５６の動作は、これには限られない。例えば、ドア制御部２５６は、複数の接近人物の顔画像を表示装置２２０に表示したのち、車内の登録ユーザによる顔画像の選択をタッチパネル２２２等により受信して、登録ユーザが選択した顔画像の数を実行上限回数Ｉｒとして設定して、ドア開動作を実行するものとしてもよい。これにより、実行上限回数Ｉｒを、登録ユーザの知人等である接近人物の数に正しく限定することができ、不必要なドア開動作が実行されるのを防止することができる。

また、ドア制御部２５６は、車外の状況に応じてドア開動作の動作態様を変更するものとしてもよい。例えば、ドア制御部２５６は、車外の接近人物が一人である場合には、ドア開動作としてドアの自動オープン動作を行い、接近人物が複数存在する場合にはドア開動作として単にドアロックの解錠やドアノブの提供動作（ドアボディからの押し出し）を行うものとすることができる。これにより、接近人物が複数存在する場合に、車内人物が乗車させることを意図していない接近人物が勝手に乗車してくる可能性を低減することができる。

また、車両制御システム１００は、本実施形態では複数の装置（車両制御装置２０２、画像取得装置２０４、及びユーザ管理装置２０６）により構成されるものとしたが、車両制御システム１００の構成はこれには限られない。車両制御システム１００は、より少ない又はより多くの複数の装置で構成されていてもよい。そのような装置の一つ又は複数は、車両１０２の外に設けられて車載装置と通信可能に接続される利用管理サーバ１０６及び又は他のサーバに設けられているものとすることができる。また、あるいは、車両制御システム１００は、一つの装置として車両１０２において構成されるものとすることもできる。

以上説明したように、本実施形態の車両制御システム１００は、車両１０２の外部環境の画像である車外画像を取得する車外画像取得部２３２と、車両１０２の車室内の画像である車内画像を取得する車内画像取得部２３４と、を備える。また、車両制御システム１００は、上記車外画像および車内画像に基づいて車外人物および車室内に居る車内人物の動作をそれぞれ認識する人物認識部２５４と、車両１０２のドアの状態を制御するドア制御部２５６と、を備える。そして、ドア制御部２５６は、人物認識部２５４における認識結果に基づき、車両１０２に接近する車外人物（接近人物）が認識された場合において、車内人物が車両１０２のいずれかの座席を示す指示動作を行ったときに、当該指示動作により示された座席に対応するドアの開動作を実行する。

この構成によれば、車両のセキュリティを確保しつつ、かつ登録された車両利用者（登録ユーザ）にとって望ましい座席割当となるように、車両利用者以外の人物に対しスムーズな乗車を支援することができる。

また、車両制御システム１００では、ドア制御部２５６は、車内人物が所定時間に亘って顔又は視線を接近人物に向けたことを条件として、車内人物が指示動作を行ったとき、当該指示動作により示された座席に対応するドアの開動作を実行する。一般に、車内人物が接近人物の乗車を意図していないときには、車内人物はその接近人物に対して視線や顔を向けない。従って、この構成によれば、車内人物が乗車させることを意図しない接近人物に対してはドア開動作が行われないようにできるので、ドア開動作のセキュリティを更に向上することができる。

また、車両制御システム１００では、ドア制御部２５６は、人物認識部２５４が複数の接近人物を認識したときは、当該複数の接近人物の顔画像を表示する。そして、ドア制御部２５６は、上記表示した複数の接近人物の数に等しい回数を上限として、車内人物による指示動作に応じて、当該指示動作により示された座席に対応するドアの開動作を実行する。

この構成によれば、接近人物が複数いる場合には複数のドアについての開動作を行い得るので、それら複数の接近人物のスムーズな乗車を支援することができる。

また、車両制御システム１００は、車内人物が車両１０２の利用者として予め登録された登録ユーザであるか否かを判断するユーザ特定部２４４を備える。そして、ドア制御部２５６は、車内人物が指示動作を行ったときは、当該車内人物が登録ユーザであることを条件として、当該指示動作により示された座席に対応するドアの開動作を実行する。

この構成によれば、例えば、見ず知らずの人物が車両１０２に接近してきたときに非登録ユーザである子供の手振りにより誤ってドア開動作が行われてしまうのを未然に防止することができる。

また、車両制御システム１００では、ドア制御部２５６は、登録ユーザである車内人物による指示動作が認識された後は、登録ユーザでない他の車内人物が指示動作を行った場合にも、当該指示動作により示された座席に対応するドアの開動作を実行する。この構成によれば、登録ユーザが指示動作を行ったことを前提として、非登録ユーザが行う指示動作に対してもドア開動作が行われるので、セキュリティを確保しつつ柔軟なドア開動作を実行することができる。例えば、上記構成により、登録ユーザが誤って他の人物が占有する座席を示す指示動作を行った場合に、非登録ユーザがこれを正して占有されていない座席のドア開動作を指示することができる。

また、車両制御システム１００では、ドア制御部２５６は、指示動作により示された座席が他の車内人物により占有されていないときに、当該座席に対応するドアの開動作を実行する。この構成によれば、占有されている座席のドアが開動作されるのを未然に防止することができる。

また、車両制御システム１００では、ドア制御部２５６が行うドアの開動作は、ドアを開ける自動動作、又はドアを車両１０２の外部から開けられる状態に設定する動作、である。この構成によれば、ドア制御部２５６は、自動的にドアを開ける動作に限らず、ドア解錠や、ドア内に収納されていたドアノブをドアから出して動作可能な状態にする等の、様々な動作により、車外の接近人物のスムーズな乗車を支援することができる。

また、車両制御システム１００は、車両制御を行うコンピュータにより、以下の処理を行う車両制御方法を実行する。この車両制御方法は、車両１０２の外部環境の画像である車外画像を取得するステップと、車両１０２の車室内の画像である車内画像を取得するステップと、車外画像および車内画像に基づいて、車外人物および車室内に居る車内人物の動作をそれぞれ認識するステップと、車両１０２のドアの状態を制御するステップと、を備える。そして、上記制御するステップでは、上記認識するステップにおける認識結果に基づき、車両１０２に接近する車外人物（接近人物）が認識された場合において、車内人物が車両１０２のいずれかの座席を示す指示動作を行ったときに、当該指示動作により示された座席に対応するドアの開動作を実行する。

この構成によれば、車両のセキュリティを確保しつつ、かつ登録された車両利用者（登録ユーザ）にとって望ましい座席割当となるように、車両利用者以外の人物に対しスムーズな乗車を支援することができる。

１００…車両制御システム、１０２…車両、１０４…通信ネットワーク、１０６…利用管理サーバ、１１０…前席カメラ、１１２…後席カメラ、１１４…フロントカメラ、１１６…右サイドカメラ、１１８…左サイドカメラ、１２０…リアカメラ、１２２…運転席ドア、１２４…助手席ドア、１２６…後部右ドア、１２８…後部左ドア、１３０、１３２、１４０、１４２、１４４、１４６、１４８…人物、２００…車載ネットワークバス、２０２…車両制御装置、２０４…画像取得装置、２０６…ユーザ管理装置、２０８…ＢＣＭ、２１０…ＴＣＵ、２１２…ＵＩ制御装置、２１４…近距離通信装置、２１６…遠距離通信装置、２１８…処理装置、２２０…表示装置、２２２…タッチパネル、２２４…スピーカ、２２６…マイク、２３０、２４０、２５０…処理装置、２３２…車外画像取得部、２３４…車内画像取得部、２４２、２５２…記憶装置、２４４…ユーザ特定部、２４８…車内人物情報、２５４…人物認識部、２５６…ドア制御部。

Claims (8)

1. 車両の外部環境の画像である車外画像を取得する車外画像取得部と、
   前記車両の車室内の画像である車内画像を取得する車内画像取得部と、
   前記車外画像および前記車内画像に基づいて、前記車両の車外人物および車内人物のそれぞれの動作を認識する人物認識部と、
   前記車両のドアの状態を制御するドア制御部と、
   を備え、
   前記ドア制御部は、
   前記人物認識部における認識結果に基づき、前記車両に接近する車外人物が認識された場合において、前記車内人物が前記車両のいずれかの座席を示す指示動作を行ったときに、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する、
   車両制御システム。
2. 前記ドア制御部は、
   前記車内人物が顔又は視線を前記接近する車外人物に向けたことを条件として、前記車内人物が前記指示動作を行ったとき、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する、
   請求項１に記載の車両制御システム。
3. 前記ドア制御部は、前記人物認識部が複数の前記接近する車外人物を認識したときは、
   前記認識された複数の前記接近する車外人物の顔画像を表示し、
   前記表示した前記複数の前記接近する車外人物の数に等しい回数を上限として、前記車内人物による前記指示動作に応じて、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する、
   請求項１または２に記載の車両制御システム。
4. 前記車内人物のうち前記車両の利用者として予め登録された登録ユーザを特定するユーザ特定部を備え、
   前記ドア制御部は、
   前記車内人物が前記指示動作を行ったときは、当該車内人物が前記登録ユーザであることを条件として、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する、
   請求項１ないし３のいずれか一項に記載の車両制御システム。
5. 前記ドア制御部は、
   前記登録ユーザである前記車内人物による前記指示動作が認識された後は、前記登録ユーザでない他の前記車内人物が前記指示動作を行った場合にも、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する、
   請求項４に記載の車両制御システム。
6. 前記ドア制御部は、
   前記指示動作により示された前記座席が他の前記車内人物により占有されていないときに、当該座席に対応する前記ドアの開動作を実行する、
   請求項１ないし５のいずれか一項に記載の車両制御システム。
7. 前記開動作は、前記ドアを開ける自動動作、又は前記ドアを前記車両の外部から開けられる状態に設定すること、である、
   請求項１ないし６のいずれか一項に記載の車両制御システム。
8. 車両制御を行うコンピュータが実行する車両制御方法であって、
   車両の外部環境の画像である車外画像を取得するステップと、
   前記車両の車室内の画像である車内画像を取得するステップと、
   前記車外画像および前記車内画像に基づいて、前記車両の車外人物および車内人物の動作をそれぞれ認識するステップと、
   前記車両のドアの状態を制御するステップと、
   を備え、
   前記制御するステップでは、
   前記認識するステップにおける認識結果に基づき、前記車両に接近する車外人物が認識された場合において、前記車内人物が前記車両のいずれかの座席を示す指示動作を行ったときに、当該指示動作により示された前記座席に対応する前記ドアの開動作を実行する、
   車両制御方法。
   

Images