JP7055785B2

JP7055785B2 - 車載装置

Info

Publication number: JP7055785B2
Application number: JP2019227828A
Authority: JP
Inventors: 英斗三宅; 大輝齊藤; 進一岡本; 宏二石井
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2019-12-18
Filing date: 2019-12-18
Publication date: 2022-04-18
Anticipated expiration: 2039-12-18
Also published as: JP2021096669A; US20210192240A1; US11348347B2

Description

特許法第３０条第２項適用令和１年１０月２３日から東京ビッグサイトにおいて開催された第４６回東京モーターショー２０１９にて公開

本発明は、車載装置に関する。

従来、車載装置として、例えば、特許文献１には、利用者が車両に忘れ物をしたことを判定する車載装置が記載されている。この車載装置は、車両に乗車する際の利用者の重量と車両から降車する際の利用者の重量との差分に基づいて忘れ物を判定している。

特開２０１８－１４２１３０号公報

ところで、上述の特許文献１に記載の車載装置は、例えば、利用者が車両に忘れた物を適正に判定する点で更なる改善の余地がある。そして、この車載装置は、忘れ物の判定も含めて利用者の所持品を把握することが望まれている。

そこで、本発明は、上記に鑑みてなされたものであって、乗員の所持品を適正に把握することができる車載装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る車載装置は、車両内を撮像する撮像部と、前記撮像部により撮像された画像に基づいて前記車両内の乗員を検出する乗員検出部と、前記撮像部により撮像された画像に基づいて前記車両内の物品を検出する物品検出部と、前記物品検出部により検出された物品を表す物品検出情報、及び、前記乗員検出部により検出された乗員を表す乗員検出情報に基づいて、前記物品検出部により検出された特定の物品を、前記乗員検出部により検出された特定の乗員に関連付けた関連情報を生成する関連付け部と、前記関連付け部により生成した前記関連情報に基づいて、予め定められた制御を行う制御部と、を備え、前記関連付け部は、前記物品検出部により物品を初めて検出したとき、前記初めて検出した物品を、当該初めて検出した物品に距離が最も近い手の乗員に関連付けることを特徴とする。

上記車載装置において、前記関連付け部は、前記物品検出部により検出された物品と前記乗員検出部により検出された乗員との距離に基づいて、前記特定の物品を前記特定の乗員に関連付けることが好ましい。

上記車載装置において、前記関連付け部は、前記特定の乗員に関連付けた前記特定の物品が、当該特定の乗員が身に着けた物品収納部に収納されることで、前記物品検出部により前記物品収納部に収納された前記特定の物品を検出できなくなった場合、前記物品収納部に収納された前記特定の物品と前記特定の乗員との関連付けを維持し、その後、前記物品検出部により前記物品収納部から取り出された前記特定の物品を検出した場合、検出した前記特定の物品を既に前記特定の乗員と関連付けた前記特定の物品と同じ物品であると判定することが好ましい。

上記車載装置において、前記制御部は、前記関連付け部により関連付けられた前記物品と前記乗員との間の距離が予め定められた閾値以上の場合、前記乗員が前記物品を前記車両内に置き忘れたと判定することが好ましい。

本発明に係る車載装置は、撮像部により撮像された車両内の画像に基づいて、物品検出部により検出された特定の物品を、乗員検出部により検出された特定の乗員に関連付けるので、乗員の所持品を適正に把握することができる。

図１は、実施形態に係る車載装置及び外部サーバを有する車両システムの構成例を示すブロック図である。図２は、実施形態に係るカメラにより撮像された検出画像を示す図である。図３は、実施形態に係る乗員と所持品との関連付けを示す図である。図４は、実施形態に係る車載装置の動作例を示すフローチャートである。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。更に、以下に記載した構成は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。

〔実施形態〕
図面を参照しながら実施形態に係る車両システム１について説明する。図１は、実施形態に係る車載装置２０及び外部サーバ１０を有する車両システム１の構成例を示すブロック図である。図２は、実施形態に係るカメラ２１により撮像された検出画像Ｄを示す図である。図３は、実施形態に係る乗員Ｐと所持品との関連付けを示す図である。車両システム１は、乗員Ｐが車両Ｖに所持品を忘れたことを報知するシステムである。車両システム１は、例えば、自動運転を行うライドシェアカー、バス、タクシー等の車両Ｖに適用される。車両システム１は、外部サーバ１０と、車載装置２０とを備える。

外部サーバ１０は、監視員Ｍによる車両Ｖの監視を支援するものである。外部サーバ１０は、車両Ｖの外部に設けられ、モニター１１と、マイク１２と、通信機１３と、外部制御部１４とを備える。

モニター１１は、情報を表示するものである。モニター１１は、外部制御部１４に接続され、外部制御部１４から出力される車両Ｖの室内の画像（動画像又は静止画像）を表示する。監視員Ｍは、モニター１１に表示される車両Ｖの室内の画像を視て、車両Ｖの室内の状況を監視する。

マイク１２は、音を電気信号に変換するものである。マイク１２は、例えば、監視員Ｍが発する音声を電気信号に変換する。マイク１２は、外部制御部１４に接続され、音声を変換した電気信号を外部制御部１４に出力する。

通信機１３は、車載装置２０と無線通信するものである。通信機１３は、外部制御部１４に接続され、外部制御部１４から出力される情報を車載装置２０に送信する。また、通信機１３は、車載装置２０から受信した情報を外部制御部１４に出力する。

外部制御部１４は、各種電子機器を制御するものである。外部制御部１４は、ＣＰＵ、メモリを構成するＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。外部制御部１４は、通信機１３及びモニター１１に接続され、通信機１３を介して取得した車両Ｖの室内の画像を、モニター１１に出力する。外部制御部１４は、マイク１２に接続され、マイク１２から出力された音声の電気信号を通信機１３を介して車載装置２０に送信する。

車載装置２０は、車両Ｖの室内における忘れ物を報知するものである。車載装置２０は、撮像部としてのカメラ２１と、スピーカ２２と、ディスプレイ２３と、通信機２４と、制御ユニット２５とを備える。

カメラ２１は、車両Ｖ内を撮像するものである。カメラ２１は、１つの撮像部を有する単眼カメラや、２つの撮像部を有するステレオカメラ等により構成されている。カメラ２１は、車両Ｖの室内に１台又は複数台設置され、車両Ｖに乗車した乗員Ｐを含む車両Ｖの室内を撮像する。１台又は複数台のカメラ２１は、車両Ｖの室内の全体を撮像可能な画角に設定されている。カメラ２１は、車両Ｖが利用されている間は、車両Ｖの走行中や停止中に関わらず、車両Ｖの室内を撮像する。カメラ２１は、乗員Ｐが車両Ｖに乗車した瞬間から、当該乗員Ｐが車両Ｖを降車する瞬間まで乗員Ｐを撮像する。つまり、カメラ２１は、乗員Ｐが車両Ｖに乗り込み、乗り込んだ乗員Ｐが座席に着座し、着座した乗員Ｐが降車するまで連続して乗員Ｐ及び当該乗員Ｐの所持品を撮像し続ける。カメラ２１は、制御ユニット２５に接続され、撮像した検出画像Ｄ（図２参照）を制御ユニット２５に出力する。

スピーカ２２は、電気信号を音に変換するものである。スピーカ２２は、制御ユニット２５に接続され、制御ユニット２５から出力される音声信号を音波（音声）に変換して車両Ｖの室内に出力する。スピーカ２２は、例えば、予め録音された音声信号や、監視員Ｍが発した音声の電気信号を音波（音声）に変換して車両Ｖの室内に出力する。予め録音された音声信号は、例えば、乗員Ｐが車両Ｖの室内に忘れ物をしたことを報知するような内容であり、後述する記憶部２５ｄに記憶されている。乗員Ｐは、スピーカ２２から出力された音声を聞くことにより、車両Ｖの室内に忘れ物をしたことに気付くことができる。

ディスプレイ２３は、情報を表示する表示するものである。ディスプレイ２３は、制御ユニット２５に接続され、制御ユニット２５から出力される画像（動画像又は静止画像）を表示する。この画像は、乗員Ｐが車両Ｖの室内に忘れ物をしたことを報知するような内容であり、記憶部２５ｄに予め記憶されている。乗員Ｐは、ディスプレイ２３に表示された画像を視認するにより、車両Ｖの室内に忘れ物をしたことに気付くことができる。

通信機２４は、外部サーバ１０と無線通信するものである。通信機２４は、制御ユニット２５に接続され、制御ユニット２５から出力される情報を外部サーバ１０に送信する。また、通信機２４は、外部サーバ１０から受信した情報を制御ユニット２５に出力する。

制御ユニット２５は、乗員Ｐの忘れ物を判定するものである。制御ユニット２５は、ＣＰＵ、メモリを構成するＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御ユニット２５は、乗員検出部２５ａと、物品検出部２５ｂと、関連付け部２５ｃと、記憶部２５ｄと、制御部としての車載制御部２５ｅとを備える。

乗員検出部２５ａは、カメラ２１により撮像された検出画像Ｄに基づいて車両Ｖの室内の乗員Ｐを検出するものである。乗員検出部２５ａは、例えば、検出画像Ｄの特徴に基づいて対象物を認識するパターン認識技術等の周知の画像認識技術を用いて乗員Ｐを検出する。乗員検出部２５ａは、カメラ２１に接続され、当該カメラ２１により撮像された車両Ｖの室内の検出画像Ｄに基づいて、車両Ｖに乗車する乗員Ｐを検出する。このとき、乗員検出部２５ａは、乗員Ｐの身体のそれぞれの部位を識別する。乗員検出部２５ａは、例えば、乗員Ｐの顔、胴部、上肢（腕、手）、下肢等の部位を識別して検出する。乗員検出部２５ａは、関連付け部２５ｃに接続され、検出した乗員Ｐを表す固有の乗員検出情報を関連付け部２５ｃに出力する。ここで、乗員検出情報とは、カメラ２１より撮像された検出画像Ｄに含まれる乗員Ｐを検出した情報である。

物品検出部２５ｂは、カメラ２１より撮像された検出画像Ｄに基づいて車両Ｖの室内の物品Ｇを検出するものである。物品検出部２５ｂは、例えば、検出画像Ｄの特徴に基づいて対象物を認識するパターン認識技術等の周知の画像認識技術を用いて物品Ｇを検出する。物品検出部２５ｂは、カメラ２１に接続され、当該カメラ２１により撮像された車両Ｖの室内の検出画像Ｄに基づいて、車両Ｖの室内の物品Ｇを検出する。物品検出部２５ｂは、例えば、乗員Ｐにより車両Ｖの室内に手提げカバン（黒色）、スマートフォン、リュックサック（黒色）、ペットボトル等が持ち込まれた場合、物品Ｇとしてこれらの物を検出する。物品検出部２５ｂは、関連付け部２５ｃに接続され、検出した物品Ｇを表す物品検出情報を関連付け部２５ｃに出力する。ここで、物品検出情報とは、カメラ２１より撮像された検出画像Ｄに含まれる物品Ｇを検出した情報である。

関連付け部２５ｃは、物品Ｇを所持品として乗員Ｐに関連付けるものである。関連付け部２５ｃは、物品検出部２５ｂに接続され、物品検出部２５ｂにより検出された物品Ｇを表す物品検出情報を取得する。また、関連付け部２５ｃは、乗員検出部２５ａに接続され、乗員検出部２５ａにより検出された乗員Ｐを表す乗員検出情報を取得する。そして、関連付け部２５ｃは、物品検出部２５ｂにより検出された物品Ｇを表す物品検出情報、及び、乗員検出部２５ａにより検出された乗員Ｐを表す乗員検出情報に基づいて、物品検出部２５ｂにより検出された特定の物品Ｇを、乗員検出部２５ａにより検出された特定の乗員Ｐに関連付けた関連情報Ｔ（図３参照）を生成する。

関連付け部２５ｃは、例えば、物品検出部２５ｂにより検出された物品Ｇと、乗員検出部２５ａにより検出された乗員Ｐとの距離に基づいて、特定の物品Ｇを特定の乗員Ｐに関連付ける。ここで、物品Ｇと乗員Ｐとの距離とは、物品Ｇと乗員Ｐの手との間の距離をいう。関連付け部２５ｃは、例えば、物品検出部２５ｂにより検出された物品Ｇを、当該物品Ｇに最も近い手の乗員Ｐに関連付ける。典型的には、関連付け部２５ｃは、物品検出部２５ｂにより物品Ｇを初めて検出したとき、初めて検出した物品Ｇを、当該初めて検出した物品Ｇに距離が最も近い手の乗員Ｐに関連付ける。例えば、図２の検出画像Ｄに示すように、手提げカバン（黒色）Ｂ及びスマートフォンＨを所持した乗員Ｐ１と、何も所持していない乗員Ｐ２とが車両Ｖの室内に乗り込んできたとき、乗員検出部２５ａが乗員Ｐ１、Ｐ２を検出し、且つ、物品検出部２５ｂが手提げカバン（黒色）Ｂ及びスマートフォンＨを検出する。そして、関連付け部２５ｃは、当該手提げカバン（黒色）Ｂ及びスマートフォンＨに距離が最も近い手の乗員Ｐ１に当該手提げカバン（黒色）Ｂ及びスマートフォンＨを関連付けた関連情報Ｔを生成する（図３参照）。また、関連付け部２５ｃは、何も所持していない乗員Ｐ２には「所持品なし」と関連情報Ｔに記録する。なお、図３に示す関連情報Ｔには、乗員Ｐ１、Ｐ２の他に、乗員Ｐ３がリュックサック（黒色）及びペットボトルを所持していることが記録されており、乗員Ｐ４が手提げカバン（白色）及びハンカチーフを所持していることが記録されている。

記憶部２５ｄは、情報を記憶する不揮発性のメモリである。記憶部２５ｄは、制御ユニット２５での各種処理に必要な条件や情報、制御ユニット２５で実行する画像認識用のプログラムやアプリケーション、制御データ等が記憶されている。記憶部２５ｄは、乗員Ｐが車両Ｖの室内に忘れ物をしたことを報知する内容の音声データ（音声信号）を記憶している。また、記憶部２５ｄは、乗員Ｐが車両Ｖの室内に忘れ物をしたことを報知する内容の画像データを記憶している。また、記憶部２５ｄは、関連情報Ｔを記憶している。記憶部２５ｄは、乗員検出部２５ａ、物品検出部２５ｂ、関連付け部２５ｃ、車載制御部２５ｅによってこれらの情報が必要に応じて読み出される。

車載制御部２５ｅは、関連付け部２５ｃにより生成した関連情報Ｔに基づいて、予め定められた制御を行うものである。車載制御部２５ｅは、カメラ２１により撮像された検出画像Ｄに基づいて、関連付け部２５ｃにより関連付けられた物品Ｇと乗員Ｐとの間の距離を算出する。そして、車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇと乗員Ｐとの間の距離が、予め定められた第１閾値未満の場合、乗員Ｐが物品Ｇを車両Ｖ内に置き忘れていないと判定する。一方で、車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇと乗員Ｐとの間の距離が第１閾値以上の場合、乗員Ｐが物品Ｇを車両Ｖ内に置き忘れたと判定する。ここで、第１閾値は、乗員Ｐが物品Ｇを車両Ｖ内に置き忘れたことを表す距離である。

車載制御部２５ｅは、乗員Ｐが物品Ｇを車両Ｖ内に置き忘れたと判定した場合、乗員Ｐに忘れ物をしたことを報知する。車載制御部２５ｅは、例えば、記憶部２５ｄに予め録音された音声データに基づいて、乗員Ｐが車両Ｖの室内に忘れ物をしたことを表す内容をスピーカ２２から車両Ｖの室内に出力する。また、車載制御部２５ｅは、記憶部２５ｄに予め記憶された画像データに基づいて、乗員Ｐが車両Ｖの室内に忘れ物をしたことを表す内容をディスプレイ２３に表示する。車載制御部２５ｅは、スピーカ２２及びディスプレイ２３を介して忘れ物を報知しても乗員Ｐが忘れ物に気付かない場合、つまり忘れ物を報知しても乗員Ｐが物品Ｇから遠ざかる場合、外部サーバ１０に乗員Ｐが忘れ物に気付かないことを表す内容（車両Ｖの室内の画像を含む）を送信する。外部サーバ１０は、車載制御部２５ｅから乗員Ｐが忘れ物に気付かないことを表す内容を受信すると、車両Ｖの室内の画像をモニター１１に表示する。監視員Ｍは、モニター１１に表示される車両Ｖの室内の画像を視て、マイク１２に向かって乗員Ｐに対して車両Ｖの室内に忘れ物をしていることを報知する。外部サーバ１０は、監視員Ｍが報知した内容を車載装置２０に送信し、車載装置２０は、外部サーバ１０から送信された監視員Ｍが報知した内容をスピーカ２２から車両Ｖの室内に出力する。

次に、フローチャートを参照して車載装置２０の動作について説明する。図４は、実施形態に係る車載装置２０の動作例を示すフローチャートである。車載装置２０において、カメラ２１は、車両Ｖの室内を撮像する（ステップＳ１）。乗員検出部２５ａは、カメラ２１により撮像された検出画像Ｄに基づいて車両Ｖの室内の乗員Ｐを検出する（ステップＳ２）。物品検出部２５ｂは、カメラ２１より撮像された検出画像Ｄに基づいて車両Ｖの室内の物品Ｇを検出する（ステップＳ３）。

次に、関連付け部２５ｃは、物品検出部２５ｂにより検出された物品Ｇが、乗員検出部２５ａにより検出された乗員Ｐの近くに存在するか否かを判定する（ステップＳ４）。関連付け部２５ｃは、例えば、物品検出部２５ｂにより検出された物品Ｇと、乗員検出部２５ａにより検出された乗員Ｐの手との距離に基づいて、物品Ｇが乗員Ｐの近くに存在するか否かを判定する。関連付け部２５ｃは、物品検出部２５ｂにより検出された物品Ｇが、乗員検出部２５ａにより検出された乗員Ｐの近くに存在しない場合（ステップＳ４；Ｎｏ）、物品検出部２５ｂにより検出された物品Ｇを、乗員検出部２５ａにより検出された乗員Ｐに関連付けない。一方で、関連付け部２５ｃは、物品検出部２５ｂにより検出された物品Ｇが、乗員検出部２５ａにより検出された乗員Ｐの近くに存在する場合（ステップＳ４；Ｙｅｓ）、物品検出部２５ｂにより検出された物品Ｇを、乗員検出部２５ａにより検出された乗員Ｐに関連付ける（ステップＳ５）。関連付け部２５ｃは、例えば、物品検出部２５ｂにより検出した物品Ｇを、当該検出した物品Ｇに距離が最も近い手の乗員Ｐに関連付ける。

次に、関連付け部２５ｃは、乗員Ｐが身に着けた物品収納部（例えば、服のポケットやカバン等）から取り出された物品Ｇを、物品検出部２５ｂにより初めて検出したか否かを判定する（ステップＳ６）。関連付け部２５ｃは、乗員Ｐが身に着けた物品収納部から取り出した物品Ｇを、物品検出部２５ｂにより初めて検出したものでない場合（ステップＳ６；Ｎｏ）、関連付け処理を省略する。一方で、関連付け部２５ｃは、乗員Ｐが身に着けた物品収納部から取り出した物品Ｇを、物品検出部２５ｂにより初めて検出した場合（ステップＳ６；Ｙｅｓ）、当該物品Ｇを取り出した乗員Ｐに、物品収納部から取り出された物品Ｇを関連付ける（ステップＳ７）。関連付け部２５ｃは、例えば、乗員Ｐが服のポケットから取り出したスマートフォンを物品検出部２５ｂにより初めて検出した場合、スマートフォンを取り出した乗員Ｐに、服のポケットから取り出されたスマートフォンを関連付ける。関連付け部２５ｃは、乗員Ｐに関連付けた物品Ｇが物品収納部に収納され、物品検出部２５ｂにより物品Ｇを検出できなくなった場合、当該物品Ｇと当該乗員Ｐとの関連付けを維持する。関連付け部２５ｃは、例えば、乗員Ｐに関連付けたスマートフォンが服のポケットに収納され、物品検出部２５ｂによりスマートフォンを検出できなくなった場合、当該スマートフォンと当該乗員Ｐとの関連付けを維持する。そして、関連付け部２５ｃは、関連付けが維持された物品Ｇが物品収納部から取り出され、この物品収納部から取り出された物品Ｇを物品検出部２５ｂにより検出した場合、検出した物品Ｇを既に関連付けた物品Ｇと同じ物品Ｇと判定する。関連付け部２５ｃは、例えば、関連付けが維持されたスマートフォンが服のポケットから取り出され、服のポケットから取り出されたスマートフォンを物品検出部２５ｂにより検出した場合、検出したスマートフォンを既に関連付けたスマートフォンと同じスマートフォンと判定する。

次に、関連付け部２５ｃは、車両Ｖの座席に着座の乗員Ｐが座席から移動したときに、乗員Ｐによって隠れていた物品Ｇを物品検出部２５ｂにより初めて検出したか否かを判定する（ステップＳ８）。関連付け部２５ｃは、車両Ｖの座席に着座の乗員Ｐが座席から移動したときに、乗員Ｐによって隠れていた物品Ｇを物品検出部２５ｂにより初めて検出したものでない場合（ステップＳ８；Ｎｏ）、関連付け処理を省略する。一方で、関連付け部２５ｃは、車両Ｖの座席に着座の乗員Ｐが座席から移動したときに、乗員Ｐによって隠れていた物品Ｇを物品検出部２５ｂにより初めて検出した場合（ステップＳ８；Ｙｅｓ）、座席から移動した乗員Ｐに、隠れていた物品Ｇを関連付ける（ステップＳ９）。

次に、車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇ（所持品）と乗員Ｐとの間の距離が第１閾値以上であるか否かを判定する（ステップＳ１０）。車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇ（所持品）と乗員Ｐとの間の距離が第１閾値未満である場合（ステップＳ１０；Ｎｏ）、忘れ物の報知を行わない。一方で、車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇ（所持品）と乗員Ｐとの間の距離が第１閾値以上である場合（ステップＳ１０；Ｙｅｓ）、忘れ物の存在を車両Ｖの室内に報知する（ステップＳ１１）。車載制御部２５ｅは、例えば、記憶部２５ｄに予め録音された音声データに基づいて、乗員Ｐが車両Ｖの室内に忘れ物をしたことを表す内容をスピーカ２２から車両Ｖの室内に出力する。また、車載制御部２５ｅは、記憶部２５ｄに予め記憶された画像データに基づいて、乗員Ｐが車両Ｖの室内に忘れ物をしたことを表す内容をディスプレイ２３に表示する。

次に、車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇ（所持品）と乗員Ｐとの間の距離が第２閾値以上であるか否かを判定する（ステップＳ１２）。ここで、第２閾値は、第１閾値よりも大きな値であり、車両Ｖの室内に忘れ物をしたことを報知しても忘れ物に気付かない乗員Ｐに対して、外部サーバ１０を介して監視員Ｍにより報知するための閾値である。車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇ（所持品）と乗員Ｐとの間の距離が第２閾値未満である場合（ステップＳ１２；Ｎｏ）、外部サーバ１０を介して忘れ物の報知を行わない。一方で、車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇ（所持品）と乗員Ｐとの間の距離が第２閾値以上である場合（ステップＳ１２；Ｙｅｓ）、乗員Ｐが忘れ物に気付かないことを表す内容（忘れ物の存在）を外部サーバ１０に送信する（ステップＳ１３）。外部サーバ１０は、車載装置２０から乗員Ｐが忘れ物に気付かないことを表す内容を受信すると、車両Ｖの室内の画像をモニター１１に表示する。外部サーバ１０は、モニター１１の表示に基づいて監視員Ｍが報知した内容を車載装置２０に送信し、車載装置２０は、外部サーバ１０から送信された監視員Ｍが報知した内容をスピーカ２２から車両Ｖの室内に出力する。

以上のように、実施形態に係る車載装置２０は、カメラ２１と、乗員検出部２５ａと、物品検出部２５ｂと、関連付け部２５ｃと、車載制御部２５ｅとを備える。カメラ２１は、車両Ｖ内を撮像する。乗員検出部２５ａは、カメラ２１により撮像された検出画像Ｄに基づいて車両Ｖ内の乗員Ｐを検出する。物品検出部２５ｂは、カメラ２１により撮像された検出画像Ｄに基づいて車両Ｖ内の物品Ｇを検出する。関連付け部２５ｃは、物品検出部２５ｂにより検出された物品Ｇを表す物品検出情報、及び、乗員検出部２５ａにより検出された乗員Ｐを表す乗員検出情報に基づいて、物品検出部２５ｂにより検出された特定の物品Ｇを、乗員検出部２５ａにより検出された特定の乗員Ｐに関連付けた関連情報Ｔを生成する。車載制御部２５ｅは、関連付け部２５ｃにより生成した関連情報Ｔに基づいて、予め定められた制御を行う。

この構成により、車載装置２０は、乗員Ｐが物品Ｇを所持していることを適正に把握（監視、管理）することができる。車載装置２０は、例えば、乗員Ｐが車両Ｖの室内に所持品を忘れたことや、所持品が盗難にあったこと、乗員Ｐの嗜好、危険物の所持等を判定することできる。これにより、車載装置２０は、乗員Ｐが車両Ｖの室内に所持品を忘れたことを報知して乗員Ｐに忘れ物を気付かせることができる。車載装置２０は、所持品が盗み取られた瞬間に報知することで盗難の被害にあうことを抑制できる。車載装置２０は、所持品により乗員Ｐの嗜好を判定することで、例えば車内広告を適正に実施することができる。車載装置２０は、乗員Ｐが危険物を所持している場合、警察や警備会社等に通報することで事件を未然に防ぐことができる。

上記車載装置２０において、関連付け部２５ｃは、物品検出部２５ｂにより検出された物品Ｇと乗員検出部２５ａにより検出された乗員Ｐとの距離に基づいて、特定の物品Ｇを特定の乗員Ｐに関連付ける。この構成により、車載装置２０は、乗員Ｐにより車両Ｖに持ち込まれた物品Ｇが当該乗員Ｐの所持品であることを適正に判定することができる。

上記車載装置２０において、関連付け部２５ｃは、物品検出部２５ｂにより物品Ｇを初めて検出したとき、初めて検出した物品Ｇを、当該初めて検出した物品Ｇに距離が最も近い乗員Ｐに関連付ける。この構成により、車載装置２０は、乗員Ｐにより車両Ｖに持ち込まれた物品Ｇが当該乗員Ｐの所持品であることを適正に判定することができる。

上記車載装置２０において、車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇと乗員Ｐとの間の距離が予め定められた第１閾値以上の場合、乗員Ｐが物品Ｇを車両Ｖの室内に置き忘れたと判定する。この構成により、車載装置２０は、従来のように乗員Ｐの重量に基づいて忘れ物を判定する場合と比較して、乗員Ｐが忘れ物をしたことを瞬時に判定することができる。そして、車載装置２０は、判定結果に基づいて乗員Ｐに忘れ物を報知し、乗員Ｐが物品Ｇを車両Ｖの室内に忘れたことを気付かせることができる。

〔変形例〕
なお、上記説明では、車両システム１は、例えば、自動運転を行うライドシェアカー、バス、タクシー等の車両Ｖに適用される例について説明したが、これに限定されず、運転者が運転を行う車両Ｖに適用してもよい。

乗員検出部２５ａは、検出画像Ｄの特徴に基づいて対象物を認識するパターン認識技術を用いて乗員Ｐ及び物品Ｇを検出する例について説明したが、これに限定されず、その他の画像認識技術を用いて乗員Ｐ及び物品Ｇを検出してもよい。

関連付け部２５ｃは、物品検出部２５ｂにより検出された物品Ｇと、乗員検出部２５ａにより検出された乗員Ｐとの距離に基づいて、物品Ｇを乗員Ｐに関連付ける例について説明したが、これに限定されず、その他の方法により物品Ｇを乗員Ｐに関連付けてもよい。

物品Ｇ及び乗員Ｐの距離は、物品Ｇと乗員Ｐの手との間の距離である例について説明したが、これに限定されず、その他の間の距離（例えば、物品Ｇと乗員Ｐの胴部との間の距離等）であってもよい。

関連付け部２５ｃは、物品検出部２５ｂにより物品Ｇを初めて検出したタイミングで、乗員Ｐに当該物品Ｇを関連付ける例について説明したが、これに限定されず、ぞの他のタイミングで乗員Ｐに当該物品Ｇを関連付けてもよい。

車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇと乗員Ｐとの間の距離が第１閾値以上の場合、乗員Ｐが物品Ｇを車両Ｖ内に置き忘れたと判定する例について説明したが、これに限定されない。車載制御部２５ｅは、例えば、カメラ２１の撮像範囲内に物品Ｇが残っている状態で当該物品Ｇに関連付けられた乗員Ｐが撮像範囲外に移動した場合、すなわち乗員Ｐがフレームアウトした場合、乗員Ｐが物品Ｇを車両Ｖ内に置き忘れたと判定してもよい。

関連付け部２５ｃは、物品検出部２５ｂにより検出された物品Ｇを、乗員検出部２５ａにより検出された特定の乗員Ｐに関連付けができない場合、乗員検出部２５ａにより検出された車両Ｖの室内に居る全ての乗員Ｐ（候補の乗員Ｐ）に当該物品Ｇを関連付ける。そして、車載制御部２５ｅは、関連付け部２５ｃにより関連付けられた物品Ｇと候補の乗員Ｐとの間の距離が所定閾値以上の場合（例えば候補の乗員Ｐが車両Ｖから降車する場合）、候補の乗員Ｐが物品Ｇを車両Ｖ内に置き忘れたと判定する。

車載制御部２５ｅは、車両Ｖの室内に乗員Ｐが居ない状態で物品Ｇが車両Ｖの室内に残っている場合、外部サーバ１０にその旨を送信する。

車載制御部２５ｅは、乗員Ｐを特定する識別子（ＩＤ）を取得した場合、当該識別子（ＩＤ）を外部サーバ１０に送信する。

２０車載装置
２１カメラ（撮像部）
２５ａ乗員検出部
２５ｂ物品検出部
２５ｃ関連付け部
２５ｅ車載制御部（制御部）
Ｖ車両
Ｐ乗員
Ｇ物品
Ｔ関連情報

Claims

車両内を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて前記車両内の乗員を検出する乗員検出部と、
前記撮像部により撮像された画像に基づいて前記車両内の物品を検出する物品検出部と、
前記物品検出部により検出された物品を表す物品検出情報、及び、前記乗員検出部により検出された乗員を表す乗員検出情報に基づいて、前記物品検出部により検出された特定の物品を、前記乗員検出部により検出された特定の乗員に関連付けた関連情報を生成する関連付け部と、
前記関連付け部により生成した前記関連情報に基づいて、予め定められた制御を行う制御部と、を備え、
前記関連付け部は、前記物品検出部により物品を初めて検出したとき、前記初めて検出した物品を、当該初めて検出した物品に距離が最も近い手の乗員に関連付けることを特徴とする車載装置。
前記関連付け部は、前記物品検出部により検出された物品と前記乗員検出部により検出された乗員との距離に基づいて、前記特定の物品を前記特定の乗員に関連付ける請求項１に記載の車載装置。
前記関連付け部は、前記特定の乗員に関連付けた前記特定の物品が、当該特定の乗員が身に着けた物品収納部に収納されることで、前記物品検出部により前記物品収納部に収納された前記特定の物品を検出できなくなった場合、前記物品収納部に収納された前記特定の物品と前記特定の乗員との関連付けを維持し、その後、前記物品検出部により前記物品収納部から取り出された前記特定の物品を検出した場合、検出した前記特定の物品を既に前記特定の乗員と関連付けた前記特定の物品と同じ物品であると判定する請求項１又は２に記載の車載装置。
前記制御部は、前記関連付け部により関連付けられた前記物品と前記乗員との間の距離が予め定められた閾値以上の場合、前記乗員が前記物品を前記車両内に置き忘れたと判定する請求項１～３のいずれか１項に記載の車載装置。