JP7218680B2

JP7218680B2 - 洗車判定システムおよび洗車判定方法

Info

Publication number: JP7218680B2
Application number: JP2019120289A
Authority: JP
Inventors: 健太郎浅井
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-06-27
Filing date: 2019-06-27
Publication date: 2023-02-07
Anticipated expiration: 2039-06-27
Also published as: US20200406866A1; JP2021005332A; CN112149486A

Description

本発明は、車両の洗車タイミングを判定する技術に関する。

特許文献１には、駐車場に駐車している車両を自動運転により出庫させる車両制御システムが開示されている。この車両制御システムは、車両を駐車枠から駐車場内の待機領域まで自動運転により移動させ、予め設定される出庫予定時刻に応じた待機順番で車両を待機させ、車両の乗員が駐車場の出口へ到着した際に車両を自動運転により出口へ移動させる。また、車両制御システムは、洗車サービスを受ける場合、車両を自動洗車機の洗浄位置に移動させて停車させる。

特開２０１５－２１９８１１号公報

ところで、車両の所有者や管理者が、車両の外面が汚れている状態にあることを気づかない又は判断つかない場合、適切なタイミングで洗車サービスを受けられないことがある。

本発明の目的は、車両の洗車タイミングを容易に判定できる技術を提供することにある。

上記課題を解決するために、本発明のある態様の洗車判定システムは、車載カメラで車外の他車両を撮像した第１の撮像画像および第１の撮像画像の撮像位置情報と、車両以外に取り付けた取付カメラで撮像した第２の撮像画像および第２の撮像画像の撮像位置情報と、複数の自動運転車両の位置情報とを取得する取得部と、第１の撮像画像または第２の撮像画像に含まれる車両画像から自動運転車両の汚れ度合いを解析し、車両画像から車両特定情報を抽出する画像解析部と、画像解析部の解析結果をもとに自動運転車両が洗車すべき状態であるか判定する判定部と、自動運転車両の位置情報を含む自動運転車両の車両特定情報を記憶する記憶部と、画像解析部により抽出された車両特定情報が記憶部に記憶される車両特定情報の自動運転車両に対応することを特定する特定部と、特定部により特定された自動運転車両が洗車すべき状態であると判定された場合に、自動運転車両を洗車場へ移動させる指示信号を送る洗車指示部と、を備え、特定部は、第１の撮像画像または第２の撮像画像の撮像位置情報と車両の位置情報とに少なくとも基づいて、第１の撮像画像または第２の撮像画像に含まれる前記自動運転車両を特定する。

本発明の別の態様は、洗車判定方法である。この方法は、車載カメラで車外の他車両を撮像した第１の撮像画像および第１の撮像画像の撮像位置情報と、車両以外に取り付けた取付カメラで撮像した第２の撮像画像および第２の撮像画像の撮像位置情報と、複数の自動運転車両の位置情報とを取得するステップと、画像解析部が第１の撮像画像または第２の撮像画像に含まれる車両画像から自動運転車両の汚れ度合いを解析し、車両画像から車両特定情報を抽出するステップと、画像解析部の解析結果をもとに自動運転車両が洗車すべき状態であるか判定するステップと、自動運転車両の位置情報を含む自動運転車両の車両特定情報を記憶するステップと、画像解析部により抽出された車両特定情報が、記憶された車両特定情報の自動運転車両に対応することを特定するステップと、
特定された自動運転車両が洗車すべき状態であると判定された場合に、自動運転車両を洗車場へ移動させる指示信号を送るステップと、を含む。画像解析部によって抽出される車両特定情報には車体に記した識別情報および車両の特徴情報が含まれる。特定するステップにおいて、撮像位置情報および画像解析部によって抽出された車両特定情報と、自動運転車両の位置情報を含む記憶された車両特定情報とにもとづいて、第１の撮像画像または第２の撮像画像に含まれる自動運転車両を特定する。

本発明によれば、車両の洗車タイミングを容易に判定できる技術を提供できる。

洗車判定システムの概要を説明するための図である。洗車判定システムの機能構成を示す図である。洗車判定処理のフローチャートである。

図１は、洗車判定システム１の概要を説明するための図である。洗車判定システム１は、サーバ装置１０、複数の自動運転車両１４、取付カメラ１５および洗車場１６を備える。自動運転車両１４は、無線通信機能を有しており、サーバ装置１０とインターネットなどのネットワークを介して接続される車載装置１２を有する。

なお、自動運転車両１４の台数は２台に限るものではなく、洗車判定システム１では、多数の自動運転車両１４が車両情報や撮像画像を生成し、サーバ装置１０に周期的に車両情報および撮像画像を送信する状況を想定している。サーバ装置１０はデータセンタに設置されて、自動運転車両１４の車載装置１２から送信される車両情報および撮像画像を受信する。

自動運転車両１４は、運転操作をドライバーが実行する手動運転モードと、自動運転で走行する自動運転モードとを実行できる。自動運転車両１４は、自動運転モードである場合に、サーバ装置１０の指示信号に応じて洗車場１６へ自動的に走行することが可能である。また、自動運転車両１４は、カーシェアリングに利用されてよい。

自動運転車両１４の車載装置１２には、車外を撮像する車載カメラが含まれる。車載カメラは多くの他車両を撮像し、撮像画像は他車両の画像を含む。取付カメラ１５は、車両以外に設けられる。取付カメラ１５は、携帯端末、無人飛行体または施設の少なくともいずれかに設けられる。例えば、取付カメラ１５は、駐車場の施設に設置され、駐車された車両を監視したり、交差点の道路の付属施設に設置され、交差点を走行する車両を監視する。

取付カメラ１５は、無線通信機能を有する通信部１５ａにより、サーバ装置１０とネットワークを介して接続され、サーバ装置１０に撮像画像を送信できる。取付カメラ１５が携帯端末や無人飛行体に取り付けられる場合、通信部１５ａは、撮像画像とともに位置情報を送信してよい。また、通信部１５ａは、撮像画像とともに取付カメラ１５の識別情報を送信する。取付カメラ１５が施設に固定されている場合、その位置情報はサーバ装置１０側に予め保持される。

洗車場１６には洗車装置１７を制御する作動制御装置１８が設けられる。洗車装置１７は、所定の洗浄位置に車両を洗浄する。作動制御装置１８は、無線通信機能を有しており、サーバ装置１０とネットワークを介して接続される。作動制御装置１８は、自動運転車両１４が洗車装置１７の洗浄位置にある場合、洗車装置１７を作動させる。作動制御装置１８は、自動運転車両１４が洗車装置１７の洗浄位置にあること示す情報を、サーバ装置１０を介して車載装置１２から取得してよい。

洗車判定システム１では、サーバ装置１０が撮像画像をもとに自動運転車両１４を洗車をさせるか判定し、洗車をさせると判定した場合には車載装置１２に洗車を指示する信号を送る。車載装置１２は、洗車の指示信号を受け取ると、洗車場１６に移動する制御を実行し、洗車を受ける。これにより、自動運転車両１４の外面が汚れていると検出されたタイミングで洗車を自動的に実行できる。

また、自動運転車両１４がカーシェアリングに利用される場合には、サーバ装置１０は、カーシェアリングの利用が終了して次の利用開始前に洗車を実行する指示信号を出力する。これにより、洗浄された自動運転車両１４を次の利用者に提供できる。また、カーシェアリングの管理者が、自動運転車両１４を実際に見なくても洗車タイミングを判定できるため、管理者の手間を省くことができる。

図２は、洗車判定システム１の機能構成を示す。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

車載装置１２は、位置取得部２０、車載カメラ２１、シェアリング受付部２２、運転制御部２４および通信部２６を有する。サーバ装置１０は、通信部２８、取得部３０、条件保持部３１、画像解析部３２、記憶部３４、判定部３６、洗車指示部３８およびシェアリング管理部４０を有する。

車載装置１２の位置取得部２０は、車両の位置情報およびその位置情報の取得時刻を取得し、通信部２６を介してサーバ装置１０に送る。車両の位置情報は、ＧＰＳ（Global Positioning System）を用いて取得した緯度・経度であってよい。時系列順に車両の位置情報を追跡することで車両の走行方向が取得できる。

車載カメラ２１は、フロントカメラおよびリアカメラを含み、車両前方および車両後方の撮像画像を生成する。撮像画像には、撮像時刻と、車両前後方向のいずれであるか示す撮像方向とが関連付けられる。

シェアリング受付部２２は、カーシェアリングの利用を受け付ける。シェアリング受付部２２は、利用者の認証情報を予め保持し、利用者から識別情報を受け付けて、認証情報と識別情報とを照合して認証を実行し、認証が成功した場合にカーシェアリングの利用を許可する。また、シェアリング受付部２２は、利用者からカーシェアリングの利用の終了を受け付ける。カーシェアリングの利用開始時刻および利用終了時刻は、通信部２６を介してサーバ装置１０に送信される。例えば、利用者は、自動運転車両１４を事前に予約し、シェアリング受付部２２に識別情報を入力することで自動運転車両１４を利用開始し、シェアリング受付部２２に識別情報を入力することで自動運転車両１４を利用終了する。自動運転車両１４は、利用開始時および利用終了時に所定の駐車場に駐車されてよい。シェアリング受付部２２は、利用者が所有するＩＣカードや携帯端末から利用者の識別情報を受け取ってよい。なお、利用者の認証処理はサーバ装置１０で実行されてもよく、その場合、サーバ装置１０は、車載装置１２から利用者の識別情報を受け取って、シェアリング管理部４０にて認証処理を実行する。

運転制御部２４は、自動運転モードにおいて加速、操舵および制動に関する運転操作を自動的に行って車両を走行させる。運転制御部２４は、設定された目標走行経路に沿って走行する。目標走行経路は、現在地から目的地までの経路を定めるもので、駐車場から洗車場１６までの目標走行経路は、サーバ装置１０により導出されてよい。

通信部２６は、車両の位置情報とその取得時刻、車載カメラ２１の撮像画像とその撮像時刻とその撮像方向、およびカーシェアリングの利用情報を車両ＩＤを付してサーバ装置１０に送信する。なお、車両の位置情報をもとに生成された車両の走行方向を示す情報が通信部２６からサーバ装置１０に送信されてよい。

サーバ装置１０の取得部３０は、通信部２８を介して車両を撮像した撮像画像、撮像時刻および撮像方向と、車両の位置情報およびその取得時刻とを取得する。取得部３０は、車載カメラ２１で撮像した第１の撮像画像と、車両以外に取り付けた取付カメラ１５で撮像した第２の撮像画像を取得する。取得部３０は、撮像画像の撮像時刻と位置情報の取得時刻とによって撮像画像の位置を取得できる。第１の撮像画像および第２の撮像画像を区別しない場合、単に撮像画像という。

シェアリング管理部４０は、カーシェアリングの利用を管理する。シェアリング管理部４０は、利用者から自動運転車両１４の予約を受け付ける。また、シェアリング管理部４０は、シェアリング受付部２２に入力された利用開始時刻および利用終了時刻を取得する。

画像解析部３２は、第１の撮像画像および／または第２の撮像画像に含まれる車両画像から車両の汚れ度合いを解析する。画像解析部３２は、車両の汚れ度合いとして、車体の汚れ度合い、車輪の汚れ度合いおよび窓の汚れ度合いを導出する。画像解析部３２は、雨染みや黄砂などの付着による斑点状や砂紋状の薄汚れ、垂れるように形成された筋状の染み、泥の付着などを検出し、それらの汚れの面積および明瞭さによって各部位の汚れ度合いを導出する。画像解析部３２は、ニューラルネットワークの手法を用いて、斑点状の薄汚れ、垂れるように形成された筋状の染み、泥の付着などの汚れ状態を学習し、その汚れ状態の段階を学習して、学習結果を用いて車両画像の汚れ状態を複数段階に分類して汚れ度合いを導出してよい。なお、車両の汚れ度合いは、洗車不要を示す０と洗車必要を示す１だけで構成されてもよい。

画像解析部３２は、車両画像から車両特定情報を抽出する。車両特定情報は、各車両画像を識別するための情報であって、ナンバープレートに記載の登録ナンバーや、車体に記した識別記号である。また、車両特定情報は、車種、車体の色、車両画像の走行方向などの車両の特徴情報を含んでもよい。車両画像の走行方向は、撮像画像の撮像方向と、車両画像に示す車両前後の向きによって導出される。

判定部３６は、画像解析部３２の解析結果をもとに車両が洗車すべき状態であるか判定する。判定部３６による洗車判定処理の実行タイミングは、カーシェアリングの利用終了時から利用開始時の間であってよい。つまり、次の利用者が自動運転車両１４を利用開始する前に、判定部３６は洗車判定処理を実行する。

判定部３６は、画像解析部３２により導出された車両の汚れ度合いが所定の洗車条件を満たす場合に、車両が洗車すべき状態にあると判定し、車両の汚れ度合いが所定の洗車条件を満たさない場合に、洗車不要であると判定する。

所定の洗車条件は条件保持部３１に保持される。所定の洗車条件は、車体の汚れ度合い、窓の汚れ度合いおよび車輪の汚れ度合いの少なくともいずれかが、所定の洗車閾値を超える場合に満たされる。また、所定の洗車条件は、車体の汚れ度合い、窓の汚れ度合いおよび車輪の汚れ度合いの少なくとも２つ以上が所定の洗車閾値をそれぞれ超える場合に満たされてよい。所定の洗車閾値は、車体の汚れ度合い、窓の汚れ度合いおよび車輪の汚れ度合いのそれぞれに、異なる閾値が設定されてよい。

所定の洗車条件には、車両が洗車を実行した場合に、次のカーシェアリングの利用に間に合うかという条件が含まれてよい。つまり、次回のカーシェアリングの利用開始時刻に、自動運転車両１４が洗車場１６に移動して所定の駐車場に移動するまでの移動時間と洗車装置１７による洗車時間との合算時間が間に合うことを示す場合に、判定部３６は１つの洗車条件を満たすと判定し、移動時間および洗車時間の合算時間が次の利用開始時刻に間に合わないことを示す場合に、判定部３６は１つの洗車条件を満たさないと判定する。判定部３６は、シェアリング管理部４０のカーシェアリングの利用情報をもとに、カーシェアリングの利用終了時刻と、次回の利用開始時刻とを取得する。利用開始時刻は、利用者により利用開始を予約された時刻であってよい。このように、判定部３６は、自動運転車両１４の利用開始前に自動運転車両１４が洗車すべき状態にあるか判定する。

特定部３７は、画像解析部３２により抽出された車両特定情報が記憶部３４に記憶される車両特定情報に対応する自動運転車両１４であることを特定する。記憶部３４は、自動運転車両１４の車両特定情報を記憶する。これにより、所定の洗車条件を満たした自動運転車両１４を特定できる。また、特定する車両は自動運転車両１４に限られなくてもよい。

特定部３７は、登録ナンバーによる特定に限られず、車種、車体の色、車両の走行方向、車両の位置情報などの複数の情報を用いて車両を特定してよい。サーバ装置１０が車両の位置情報および撮像位置情報を収集しているため、特定部３７は、撮像画像の周辺に位置する車両およびそれらの車両の走行方向を把握でき、撮像画像に含まれる車両画像の車種、車体の色および走行方向が記憶部３４に記憶される車両特定情報に一致するか否かによって車両を特定する。

洗車指示部３８は、自動運転車両１４が洗車すべき状態であると判定された場合に、自動運転車両１４を洗車場１６へ移動させる指示信号を車載装置１２に送る。この指示信号を受け取った車両が自動運転車両１４であれば、運転制御部２４による自動運転制御によって洗車場１６の洗浄位置へ移動し、洗車場１６から所定の駐車場へ移動して駐車する。

洗車指示部３８は、カーシェアリングに用いる自動運転車両１４であれば次回の利用に間に合うように、自動運転車両１４を利用開始される前に自動運転車両１４を洗車場１６へ移動させる指示信号を送る。

洗車指示部３８は、自動運転車両１４でない手動運転の車両に対しては、洗車をするよう指示する情報を車載装置１２に送信し、車載装置１２は洗車をするよう運転者に通知する。

図３は、洗車判定処理のフローチャートである。サーバ装置１０の取得部３０は、車載カメラ２１および取付カメラ１５から撮像画像を収集する（Ｓ１０）。画像解析部３２は、撮像画像に含まれる車両画像から自動運転車両１４の汚れ度合いを導出する（Ｓ１２）。

判定部３６は、画像解析部３２の解析結果をもとに自動運転車両１４が洗車すべき状態であるか判定する（Ｓ１４）。自動運転車両１４の汚れ度合いが所定の洗車条件を満たさない場合（Ｓ１４のＮ）、洗車不要であり、本処理を終了する。

画像解析部３２により導出された自動運転車両１４の汚れ度合いが所定の洗車条件を満たす場合、判定部３６は、自動運転車両１４が洗車すべき状態にあると判定する（Ｓ１４のＹ）。特定部３７は、画像解析部３２により抽出された車両画像の車両特定情報が記憶部３４に記憶される車両特定情報に対応する自動運転車両１４であることを特定する（Ｓ１６）。

シェアリング受付部２２がカーシェアリングの利用終了を受け付けるまで（Ｓ１８のＮ）、シェアリング管理部４０は自動運転車両１４を利用状況を監視し、シェアリング受付部２２がカーシェアリングの利用終了を受け付けると（Ｓ１８のＹ）、シェアリング管理部４０は、シェアリング受付部２２から利用終了時刻を受け取って、判定部３６に送る。判定部３６は、自動運転車両１４が洗車して次回のカーシェアリングの利用開始時刻に間に合うか判定する（Ｓ２０）。

自動運転車両１４が洗車して次回のカーシェアリングの利用開始時刻に間に合わない場合（Ｓ２０のＮ）、洗車を指示せずに本処理を終える。なお、この場合、その自動運転車両１４に対して洗車フラグが立てられ、洗車指示部３８は次回のカーシェアリングの利用終了時に洗車を指示してよい。

自動運転車両１４が洗車して次回のカーシェアリングの利用開始時刻に間に合う場合（Ｓ２０のＹ）、洗車指示部３８は、所定の洗車条件を満たすとして、自動運転車両１４を洗車場１６へ移動させる指示信号を送る（Ｓ２２）。自動運転車両１４の運転制御部２４は、指示信号を受け取ると、洗車場１６へ自動的に移動させ、洗車を終えると洗車場１６から所定の駐車場に移動させる。このように車両の外面が汚れていると推定され、且つ車両を洗車しても次回のカーシェアリングの利用に間に合う場合に、洗車が指示される。これにより、カーシェアリングの利用者に外面が良好な状態の自動運転車両１４を提供できる。

なお実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では、車両がカーシェアリングに用いられる自動運転車両１４である態様を示したが、この態様に限られず、個人が所有する手動運転用の車両であってもよい。この場合、サーバ装置１０は、車両画像を含む撮像画像をもとに洗車判定処理を実行し、洗車条件を満たせば車両を特定し、車載装置１２に洗車すべきである旨の通知を実行する。

１洗車判定システム、１０サーバ装置、１２車載装置、１４自動運転車両、１５取付カメラ、１６洗車場、１７洗車装置、１８作動制御装置、２０位置取得部、２１車載カメラ、２２シェアリング受付部、２４運転制御部、３０取得部、３１条件保持部、３２画像解析部、３４記憶部、３６判定部、３７特定部、３８洗車指示部、４０シェアリング管理部。

Claims

車載カメラで車外の他車両を撮像した第１の撮像画像および第１の撮像画像の撮像位置情報と、車両以外に取り付けた取付カメラで撮像した第２の撮像画像および第２の撮像画像の撮像位置情報と、複数の自動運転車両の位置情報とを取得する取得部と、
第１の撮像画像または第２の撮像画像に含まれる車両画像から前記自動運転車両の汚れ度合いを解析し、車両画像から車両特定情報を抽出する画像解析部と、
前記画像解析部の解析結果をもとに前記自動運転車両が洗車すべき状態であるか判定する判定部と、
前記自動運転車両の位置情報を含む前記自動運転車両の車両特定情報を記憶する記憶部と、
前記画像解析部により抽出された車両特定情報が前記記憶部に記憶される車両特定情報の前記自動運転車両に対応することを特定する特定部と、
前記特定部により特定された前記自動運転車両が洗車すべき状態であると判定された場合に、前記自動運転車両を洗車場へ移動させる指示信号を送る洗車指示部と、を備え、
前記画像解析部によって抽出される車両特定情報には車体に記した識別情報および車両の特徴情報が含まれ、
前記特定部は、撮像位置情報および前記画像解析部によって抽出された車両特定情報と、自動運転車両の位置情報を含む前記記憶部に記憶される車両特定情報とにもとづいて、第１の撮像画像または第２の撮像画像に含まれる前記自動運転車両を特定することを特徴とする洗車判定システム。
前記自動運転車両は、カーシェアリングに利用されるものであって、
前記判定部は、前記自動運転車両の利用開始前に前記自動運転車両が洗車すべき状態にあるか判定し、
前記洗車指示部は、前記自動運転車両が洗車すべき状態であると判定された場合に、前記自動運転車両の利用開始前に前記自動運転車両を洗車場へ移動させる指示信号を送ることを特徴とする請求項１に記載の洗車判定システム。
車載カメラで車外の他車両を撮像した第１の撮像画像および第１の撮像画像の撮像位置情報と、車両以外に取り付けた取付カメラで撮像した第２の撮像画像および第２の撮像画像の撮像位置情報と、複数の自動運転車両の位置情報とを取得するステップと、
画像解析部が第１の撮像画像または第２の撮像画像に含まれる車両画像から前記自動運転車両の汚れ度合いを解析し、車両画像から車両特定情報を抽出するステップと、
前記画像解析部の解析結果をもとに前記自動運転車両が洗車すべき状態であるか判定するステップと、
前記自動運転車両の位置情報を含む前記自動運転車両の車両特定情報を記憶するステップと、
前記画像解析部により抽出された車両特定情報が、記憶された車両特定情報の前記自動運転車両に対応することを特定するステップと、
特定された前記自動運転車両が洗車すべき状態であると判定された場合に、前記自動運転車両を洗車場へ移動させる指示信号を送るステップと、を含み、
前記画像解析部によって抽出される車両特定情報には車体に記した識別情報および車両の特徴情報が含まれ、
前記特定するステップにおいて、撮像位置情報および前記画像解析部によって抽出された車両特定情報と、自動運転車両の位置情報を含む記憶された車両特定情報とにもとづいて、第１の撮像画像または第２の撮像画像に含まれる前記自動運転車両を特定することを特徴とする洗車判定方法。