JP2024051709A

JP2024051709A - 車内放置検出システム及びサーバ

Info

Publication number: JP2024051709A
Application number: JP2022158010A
Authority: JP
Inventors: 柳太郎吉田; Ryutaro Yoshida; 秀穂西田; Hideho Nishida
Original assignee: Ioz Inc
Current assignee: Ioz Inc
Priority date: 2022-09-30
Filing date: 2022-09-30
Publication date: 2024-04-11
Anticipated expiration: 2042-09-30
Also published as: JP7339636B1; JP2024052544A

Abstract

【課題】車両に乗車したユーザが降車していない放置状態を検出すること。【解決手段】車両に対応付けられた所定の撮影手段によって車両に乗車するタイミングで撮影された顔認証用画像を車両端末から受信して顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、車両に対応付けられた所定の撮影手段によって車両が目的地に到着後の降車時に撮影された顔認証用画像を車両端末から受信して顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、所定条件充足時に、乗車済リストと降車済リストを照合して、照合結果にずれが発生した場合に放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備えるサーバとした。【選択図】図１

Description

本発明は、車両に乗車したユーザが降車していない放置状態を検出するため車内放置検出システム及びサーバに関するものである。

従来から、施設への入退場管理や、出欠管理を行うための装置、システムが存在する。入退場管理や、出欠管理をシステムに任せることでヒューマンエラーの要素を除去して確実な管理を実現することが可能となる。

例えば、特許文献１には、生徒１人１人に所持させた固有のＩＤが記録された個人認証用デバイスを専用リーダにて読み取らせることで学校・学習塾への生徒の入退場情報を自動的に取得するとともに、保護者の携帯端末へ通知する構成を備えた入退場情報管理システムが開示されている。また、特許文献２には、幼稚園や小学校における児童の出欠管理に顔認証機能を備えた端末を用いる構成が開示されている。

特開２００５－３５２６２１号公報実用新案登録第３１７９８２１号

ところで、近年、保育園や幼稚園の送迎バスに園児が放置されて死亡してしまう痛ましい事件が発生している。園児は知識も力も不十分であるため一旦閉じ込められてしまうと車両から自力で脱出することが困難であり、車両から園児を確実に降ろして車内に放置することを確実に防止する運用が求められる。

特許文献１や特許文献２に基づく管理を行えば、保育園や幼稚園の施設への登園を管理することは可能となるが、施設での登園手続を行う前の送迎バスの中に園児が放置されることをシステムとして検知することができないという問題がある。

本発明は、上記点に鑑みなされたものであり、車両に乗車したユーザが降車していない放置状態を検出するため車内放置検出システム及びサーバを提供することを目的とする。

本発明に係る車内放置検出システムは、サーバと、車両に設置される車両端末とを備え、前記車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムであって、前記車両端末は、前記車両に対応付けられた所定の撮影手段に基づいて所定のタイミングにて撮影されたユーザの顔認証用画像を前記サーバに送信する車両側送信部と、前記サーバからの各種情報を受信する車両側受信部とを備え、前記サーバは、所定の撮影手段によって前記車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、前記登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、前記車両に乗車するタイミングで撮影された前記顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、前記車両が目的地に到着後の降車時に撮影された前記顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、所定条件充足時に、前記乗車済リストと前記降車済リストを照合して、照合結果にずれが発生した場合に前記放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備えることを特徴とする。

本発明に係る車内放置検出システムは、サーバと、車両に設置される車両端末と、車両の目的地である施設に設置される施設端末とを備え、前記車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムであって、前記車両端末は、前記車両に対応付けられた所定の撮影手段に基づいて所定のタイミングにて撮影されたユーザの顔認証用画像を前記サーバに送信する車両側送信部と、前記サーバからの各種情報を受信する車両側受信部とを備え、前記施設端末は、前記施設内に備えられた所定の撮影手段に基づいて撮影された前記ユーザの顔認証用画像を前記サーバに送信する施設側送信部と、前記サーバからの各種情報を受信する施設側受信部とを備え、前記サーバは、所定の撮影手段によって前記車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、前記登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、前記車両に乗車するタイミングで撮影された前記顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、前記施設内で撮影された前記顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、所定条件充足時に、前記乗車済リストと前記降車済リストを照合して、照合結果にずれが発生した場合に前記放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備えることを特徴とする。

また、本発明に係る車内放置検出システムにおいて、さらに、前記通知対象端末は、予め各ユーザに関連付けて登録した端末を含むものとし、前記通知処理部は、放置状態の可能性のある前記ユーザとして検出したユーザに関連付けて登録された前記通知対象端末に対して、前記放置状態の発生の可能性を通知することを特徴とする。

また、本発明に係る車内放置検出システムにおいて、さらに、前記通知処理部は、前記第１顔認証処理部及び／又は前記第２顔認証処理部において顔認証を実行して該当ユーザを特定した場合に、当該ユーザに関連付けて登録された前記通知対象端末に対して顔認証を実行したことを通知することを特徴とする。

また、本発明に係る車内放置検出システムにおいて、さらに、前記車両の内部には少なくとも１以上の人感センサが設置されており、前記人感センサは、所定の検知開始条件充足をトリガとして検知を開始し、所定の検知終了条件充足をトリガとして検知を終了するものとし、何らかの動作を検知した場合、前記車両端末を介して又は直接に前記サーバに対して動作検知を通知するものとし、前記通知処理部は、前記人感センサによる動作検知の通知を受信した場合、予め登録した通知対象端末に対して、車両内の動作検知を通知することを特徴とする。

本発明に係るサーバは、サーバと、車両に設置される車両端末とを備え、前記車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムにおけるサーバであって、所定の撮影手段によって前記車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、前記登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、前記車両に対応付けられた所定の撮影手段によって前記車両に乗車するタイミングで撮影された前記顔認証用画像を前記車両端末から受信して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、前記車両に対応付けられた所定の撮影手段によって前記車両が目的地に到着後の降車時に撮影された前記顔認証用画像を前記車両端末から受信して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、所定条件充足時に、前記乗車済リストと前記降車済リストを照合して、照合結果にずれが発生した場合に前記放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備えることを特徴とする。

本発明に係るサーバは、サーバと、車両に設置される車両端末と、車両の目的地である施設に設置される施設端末とを備え、前記車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムにおけるサーバであって、所定の撮影手段によって前記車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、前記登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、前記車両に対応付けられた所定の撮影手段によって前記車両に乗車するタイミングで撮影された前記顔認証用画像を前記車両端末から受信して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、前記施設内に備えられた所定の撮影手段によって前記施設内で撮影された前記顔認証用画像を前記施設端末から受信して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、所定条件充足時に、前記乗車済リストと前記降車済リストを照合して、照合結果にずれが発生した場合に前記放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備えることを特徴とする。

本発明によれば、乗車時に行う顔認証に基づいて作成する乗車済リストと、降車時に行う顔認証に基づいて作成する降車済リストとを照合することで、乗車したが降車していない車内放置の可能性を検出して通知することが可能となる。

本発明に係る車内放置検出システム１００の構成の一例を表したブロック図である。本発明の実施形態の少なくとも一つに対応するサーバ１０の構成の一例を示すブロック図である。本発明に係るサーバ１０における顔認証事前登録処理の流れを表したフローチャート図である。本発明に係るサーバ１０における車内放置検出処理の流れを表したフローチャート図である。本発明に係るサーバ１０における車内動作検知処理の流れを表したフローチャート図である。

以下、図面を参照しながら、本発明の一実施の形態に係る車内放置検出システムの例について説明する。図１は、本発明に係る車内放置検出システム１００の構成の一例を表したブロック図である。図１に示すように、車内放置検出システム１００は、サーバ１０と、車両端末２０と、施設端末３０と、通知対象端末４０１～４０ｎとを少なくとも含む。サーバ１０、車両端末２０、施設端末３０及び通知対象端末４０１～４０ｎは、互いにインターネットなどの通信ネットワーク５０を介して接続されている。

サーバ１０は、車内放置を検出するために必要な処理を実行し、また、車両端末２０、施設端末３０及び通知対象端末４０１～４０ｎとの通信を適宜行う装置である。サーバ１０の機能構成の詳細は後述する。

車両端末２０は、車両に搭載される端末であって、サーバ１０との通信が可能な端末である。具体的には、車両端末２０は、車両に対応付けられた所定の撮影手段に基づいて所定のタイミングにて撮影されたユーザの顔認証用画像をサーバに送信する機能を有する。また、車両端末２０は、サーバからの各種情報を受信する機能を有する。撮影手段は、車両端末２０が備えるカメラ装置であってもよいし、車両端末２０とは独立して設置するカメラ装置から顔認証用画像を取得する構成であってもよい。なお、車両内で撮影するための撮影手段は、出入口付近に設けられることが好ましい。

ここで、車両は、送迎に利用可能なものであればどのような車両であってもよいが、一例としては、幼稚園、保育園等における送迎バスが挙げられる。また、車両に対する車両端末２０の設置方法は特に限定されず、車両に対し着脱可能に設けられてもよいし、車両に対して固定的に備え付けられた端末であってもよい。また、ユーザという表現は、車両に乗車する人物を指す用語として用いており、一例としては、幼稚園、保育園等の園児が挙げられる。

また、車両２０は、車内に人感センサ６０を備えるようにしてもよい。人感センサ６０は、例えば、赤外線方式、超音波方式、レーザ方式、画像処理方式など、様々な方式を採用し得る。

施設端末３０は、施設に設置される端末であって、サーバ１０との通信が可能な端末である。具体的には、施設端末３０は、車両に対応付けられた所定の撮影手段に基づいて所定のタイミングにて撮影されたユーザの顔認証用画像をサーバに送信する機能を有する。また、施設端末３０は、サーバ１０からの各種情報を受信する機能を有する。

ここで、施設は、車両の目的地としての施設であれば限定されるものではないが、一例としては、幼稚園、保育園の園舎が挙げられる。

通知対象端末４０１～４０ｎ（以下、通知対象端末４０１～４０ｎを総称して通知対象端末４０と表現する場合がある）は、車内放置検出システム１００において通知対象として登録される端末のことをいう。一例としては、幼稚園、保育園等に通う園児の保護者が所有する端末が挙げられる。また、通知対象端末４０として、車両端末２０や施設端末３０が通知対象となる場合があるものとする。

なお、サーバ１０は、一般的なコンピュータやサーバ装置が通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、これらの一般的なコンピュータやサーバ装置を本例のサーバ１０、車両端末２０及び施設端末３０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

サーバ１０、車両端末２０及び施設端末３０は、適宜メモリに読み出したデータを用いて各種処理に必要な情報処理をＣＰＵにて実行し、得られた処理結果を必要に応じて記憶装置に記憶させる。記憶装置は、各種情報を格納する記憶媒体としての機能を有する。記憶装置の構成は特に限定されないが、例えば、ＨＤＤやＳＳＤが挙げられる。

なお、図１に示した例では、車内放置検出システム１００は、サーバ１０、車両端末２０、施設端末３０、通知対象端末４０１～４０ｎ、人感センサ６０を含んでいるが、必ずしもこれら全てを備える必要はなく、車内放置検出処理の具体的実施例に応じて必要なデバイスを適宜組み合わせて実施することが可能である。

図２は、本発明の実施形態の少なくとも一つに対応するサーバ１０の構成の一例を示すブロック図である。図２に示すように、サーバ１０は、顔認証事前登録部１１と、第１顔認証処理部１２と、第２顔認証処理部１３と、通知処理部１４と、記憶部１５とを少なくとも備える。

顔認証事前登録部１１は、所定の撮影手段によって車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する機能を有する。

ここで、所定の撮影手段はユーザの顔を撮影可能な手段であれば特に限定されない。所定の撮影手段の例には、ユーザが保有するスマートフォンや所定場所に設けられたカメラがある。所定場所に設けられたカメラの例としては、施設に設置された顔認証事前登録のための端末が備えるカメラが挙げられる。なお、撮影手段は、例えば２次元撮影カメラや奥行き（深度）の情報も取得可能な３次元撮影カメラにより実現される。撮影手段が２次元撮影カメラにより実現される場合、撮影手段は、奥行き（深度）の情報を取得可能なセンサをさらに含んでいてもよい。

また、ユーザ特定情報はユーザを特定可能な情報であれば特に限定されないが、複数のユーザ間で内容が重複する可能性が無い情報が好ましい。そのような情報の例には、ユーザ毎に割り当てられユーザを識別するための識別ＩＤなどが挙げられる。また、ユーザ特定情報の他の例としては、ユーザの個人情報が挙げられる。ユーザの個人情報の例には、ユーザの氏名や年齢、性別、住所などがある。幼稚園や保育園の園児をユーザとして登録する場合には、園児のクラスなど園に関連した情報も併せて登録するようにしてもよい。

また、登録用画像とユーザ特定情報とを取得するための構成は特に限定されず、登録用画像とユーザ特定情報との少なくとも一方を外部装置から受信する構成としてもよいし、登録用画像とユーザ特定情報とをサーバ１０が備える記憶装置から取得する構成としてもよい。

また、顔認証手段とは、人の顔が写っている撮影画像を学習モデルに入力して、その撮影画像に顔が写っている人の認証結果を出力する手段を意味する。顔認証手段は、同一人物に関する異なる顔写真からでもその人物であることを一意に特定可能な技術である所謂「顔認証」を実現するための手段であれば、既存技術を含めどのような手段であってもよい。顔認証手段は、例えば、ニューラルネットワークなどの深層学習の技術によって学習された学習モデルを用いて実現可能である。なお、顔認証手段は、サーバ１０が備える記憶装置に記憶された顔認証プログラムにより実現されてもよいし、サーバ１０以外の外部装置の記憶装置に記憶された顔認証プログラムにより実現されてもよい。

また、登録用画像とユーザ特定情報とを用いて顔認証手段に対して学習を行うとは、登録用画像とユーザ特定情報とを教師データとして用いて機械学習によって学習モデルの更新を行うことを意味する。例えば、ここでの学習は、教師あり学習である。ユーザ特定情報は、教師あり学習においてはラベルとしての役割を持つ。顔認証手段に対して学習を行うことで、登録用画像に写っているユーザについて次回以降に登録用画像とは異なる撮影画像が学習モデルに入力された場合であっても当該ユーザを一意に特定することが可能になる。なお、学習モデルの更新を行うために用いられる教師データ（登録用画像とユーザ特定情報との組み合わせ）の数は、顔認証の精度が十分担保できる数だけ確保することが好ましい。

また、ユーザの顔認証事前登録とは、ユーザの顔認証を行うための事前登録であって、顔認証手段に対して学習を行わせた結果としてユーザを登録することを意味する。顔認証手段に対して学習を事前に行わせてユーザの顔が写っている撮影画像から当該ユーザを特定できるようになるので、学習モデルでのユーザの識別情報とそのユーザのユーザ特定情報とを対応付けて記録することで、次回以降に当該ユーザの顔認証を行った際に、当該ユーザであると判定されれば対応づいたユーザ特定情報を取得することが可能となる。具体的には、ユーザの顔認証事前登録とは、顔認証の学習モデルに認識させたいユーザの顔が写っている撮影画像を入力して学習させることを意味する。

第１顔認証処理部１２は、車両に乗車するタイミングで撮影された顔認証用画像に対して顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する機能を有する。車両に乗車するユーザ毎に、撮影手段としてのカメラ装置によって顔認証用画像を撮影して、その顔認証用画像を車両端末２０から受信する。車両における顔認証用画像の取得の一例として、車両端末２０としてのタブレット端末が備えるカメラ装置の撮影画像をタブレット端末のディスプレイに表示させることで、撮影を行うユーザはディスプレイに表示された自身の顔を見ながら撮影を実行できるようにしてもよい。また、撮影範囲の所定位置にユーザの顔が位置するように誘導する案内として、例えば園児用に「まるのなかにかおをいれてね！」という一文と顔を収める範囲を示す円をディスプレイに表示させるようにして、当該円の中にユーザの顔が概ね収まったことを検出した時点で自動でシャッターを切って顔認証用画像を取得する構成としてもよい。そして、取得した顔認証用画像を用いて顔認証手段によって顔認証を実行する。顔認証の結果として、顔認証用画像に写るユーザを一意に特定できた場合には、そのユーザ特定情報を抽出する。抽出したユーザ特定情報を用いて、そのユーザを乗車済リストに加えて記録する。このような第１顔認証処理部１２による顔認証処理を、ユーザが乗車する度に実行して、乗車するユーザ全員が乗車済リストに含まれるようにする。

第２顔認証処理部１３は、車両が目的地に到着後の降車時（降車後）に撮影された顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する機能を有する。この第２顔認証処理部１３では、第１顔認証処理部１２と同様に、取得した顔認証用画像に対して顔認証手段による顔認証を実行する。顔認証の結果として、顔認証用画像に写るユーザを一意に特定できた場合には、そのユーザ特定情報を抽出して、抽出したユーザ特定情報を用いて、そのユーザを降車済リストに加えて記録する。このような第２顔認証処理部１３による顔認証処理を、ユーザが降車する度に実行して、降車するユーザ全員が降車済リストに含まれるようにする。

なお、この第２顔認証処理部１３において取得する顔認証用画像は、車両に対応付けられた所定の撮影手段によって撮影された顔認証用画像を車両端末２０から受信する構成であってもよいし、車両の目的地である施設内に備えられた所定の撮影手段によって撮影された顔認証用画像を施設端末３０から受信する構成であってもよい。すなわち、目的地である施設に到着したタイミング以降に降車済リストを作成できれば、車両端末２０であっても施設端末３０であってもよい。

また、車両端末２０から受信した顔認証用画像が乗車済リストの作成のための画像であるのか、降車済リストの作成のための画像であるのかを判定するためには、切替のタイミングをサーバで把握する必要がある。車両端末２０において手作業で切り替える構成であってもよいが、自動で切替可能なように、目的地である施設に到着したタイミングを自動で把握する手段を持つことが好ましい。一例としては、車両の位置情報をＧＰＳ情報に基づいて把握するようにし、目的地到着時の車両の停車位置を予め登録しておき、車両の位置情報が予め登録した停車位置に到達したことをもって施設到着を判定して乗車済リストの作成から降車済リストの作成に切り替えるようにすることが考えられる。

通知処理部１４は、乗車済リストと降車済リストを照合して、照合結果にずれが発生した場合に放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する機能を有する。乗車したユーザが問題なく全員降車している場合、乗車済リストと降車済リストは完全に一致することになるが、降車時の顔認証処理が完了していない場合、乗車済リストには名前が存在するが降車済リストに名前が存在しないという状況が発生する。この場合車内に閉じ込められて放置されている可能性があるため、このようなリストのずれを検出した場合、放置状態の発生の可能性があると判定する。放置状態の発生の可能性があると判定した場合、通知処理部１４は、予め登録した通知対象端末４０に対して放置状態の発生の可能性を通知する。予め登録した通知対象端末としては、施設端末３０や、ユーザが園児である場合の保護者の所持する端末が考えられる。施設端末３０に対して通知を行うことで施設の責任者に対して放置状態の可能性を知らせることが可能となり、また、幼稚園、保育園等における園児の保護者の端末を通知対象端末４０として登録しておけば、放置状態の可能性を知らされた保護者から園に対して連絡が行われて、結果として園の責任者に放置状態の可能性を知らせることが可能となる。

この通知処理部１４における照合処理は、照合を実行するための所定条件が充足されてから実行することが好ましい。というのも、車両が目的地に到着した直後に照合処理を開始してしまうと、まだ全員の降車が完了していない可能性が高く、その状況にて照合処理を実行してしまうと、放置状態の可能性が発生していないにもかかわらず通知を行うことになってしまい通知を受けた者に不要な動揺を与えてしまうおそれがある。そこで、照合処理をしても問題ないと考えらえる所定条件が充足されてから照合処理を実行するようにすることで、降車完了前の照合処理を回避することができる。所定条件の一例としては、車両が目的地である施設に到着したタイミング（車両のＧＰＳ情報にて自動判定）から所定時間、例えば１５分経過することを所定条件とすることが考えられる。

また、通知処理部１４は、第１顔認証処理部１２及び／又は第２顔認証処理部１３において顔認証を実行して該当ユーザを特定した場合に、当該ユーザに関連付けて登録された通知対象端末４０に対して顔認証を実行したことを通知するようにしてもよい。この構成により、例えば、幼稚園、保育園に通う園児に対して顔認証処理を実行する度にその園児の保護者に顔認証によって当該園児を認識したことが通知されるようになるので、保護者の安心感につながるという効果が得られ、保護者の立場から見たときには、通知が来ないことをもって車内放置の可能性を疑うことが可能となる。また、顔認証を実行する際に利用した顔認証用画像を当該通知の際に一緒に送信することで、保護者はその都度顔写真を確認することが可能となる。

記憶部１５は、サーバ１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。

なお、サーバ１０が備える構成によって実現される機能の一部は、サーバ１０の代わりに車両端末２０又は施設端末３０において実現されるようにしてもよい。

図３は、本発明に係るサーバ１０における顔認証事前登録処理の流れを表したフローチャート図である。図３に示すように、顔認証事前登録処理は、所定の撮影手段によって撮影されたユーザの顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得することによって開始される（ステップＳ１０１）。一例としては、顔認証事前登録処理は、サーバ１０が、ユーザの顔が写っている登録用画像と当該ユーザのユーザ特定情報とをユーザが保有するスマートフォンから受信することによって開始される。

次に、サーバ１０は、登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行う（ステップＳ１０２）。一例としては、サーバ１０は、ニューラルネットワークを用いて深層学習によってユーザの顔認証について学習を行うことで、次回以降にユーザの顔写真が入力された際に当該ユーザを一意に特定可能とする。

次に、サーバ１０は、所定の顔認証手段が人物を特定するための識別情報とユーザ特定情報を関連付けて登録することで、学習結果を登録する（ステップＳ１０３）、処理を終了する。一例としては、サーバ１０は、学習モデルの更新結果を外部装置にユーザと紐づけて記憶させ、処理を終了する。

図４は、本発明に係るサーバ１０における車内放置検出処理の流れを表したフローチャート図である。図４に示すように、車内放置検出処理は、サーバ１０において車両端末２０からの乗車確認用の顔認証用画像を受信することによって開始される（ステップＳ２０１）。次に、サーバ１０は、乗車確認用の顔認証用画像を用いて顔認証を実行することでユーザを特定して、乗車済リストに当該ユーザを追加する（ステップＳ２０２）。このステップＳ２０１及びステップＳ２０２は、車両にユーザが乗車する度に実行される。

次に、サーバ１０は、車両が目的地である施設に到着したタイミングを、例えば車両のＧＰＳ情報にて自動判定することで、降車段階への移行を確認する（ステップＳ２０３）。次に、サーバ１０は、降車確認用の顔認証用画像を受信する（ステップＳ２０４）。次に、サーバ１０は、降車確認用の顔認証用画像を用いて顔認証を実行することでユーザを特定して、降車済リストに当該ユーザを追加する（ステップＳ２０５）。このステップＳ２０４及びステップＳ２０５は、車両に乗車していたユーザ全員に対して実行される。

次に、サーバ１０は、照合を実行する所定条件が充足されたことを判定する（ステップＳ２０６）。次に、サーバ１０は、乗車リストと降車リストを照合し、照合結果にずれが発生した場合に放置状態の発生の可能性があると判定する（ステップＳ２０７）。そして、サーバ１０は、予め登録した通知対象端末に対して放置状態の発生の可能性を通知して（ステップＳ２０８）、車内放置検出処理を終了する。

図５は、本発明に係るサーバ１０における動作検知処理の流れを表したフローチャート図である。図５に示すように、動作検知処理は、車両端末２０において所定の検知開始条件を充足したかを確認することによって開始される（ステップＳ３０１）。検知開始条件としては、例えば、車両が目的地に到着したことを検知してから所定時間経過という条件や、手動で検知開始操作が行われることという条件や、エンジン停止から所定時間経過という条件などが考えられる。所定の検知開始条件を充足した場合（Ｓ３０１－Ｙ）、車両端末２０は、人感センサ６０による動作検知を開始する（ステップＳ３０２）。次に、車両端末２０は、何らかの動作を検知したか否かを判定する（ステップＳ３０３）。動作を検知した場合（Ｓ３０３－Ｙ）、車両端末２０は、サーバ１０に対して動作検知を通知した上で（ステップＳ３０４）、ステップＳ３０５に移行する。動作を検知しない場合（Ｓ３０３－Ｎ）、車両端末２０は、ステップＳ３０５に移行する。次に、車両端末２０は、所定の検知終了条件を充足したかを確認する（ステップＳ３０５）。検知終了条件を満たさない場合、車両端末２０は、ステップＳ３０３に戻って動作検知を継続する。そして、検知終了条件を充足した場合、車両端末２０は、動作検知を終了する（ステップＳ３０６）。

以上のように、本例による車内放置検出システム１００は、サーバと、車両に設置される車両端末とを備え、車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムであって、車両端末は、車両に対応付けられた所定の撮影手段に基づいて所定のタイミングにて撮影されたユーザの顔認証用画像をサーバに送信する車両側送信部と、サーバからの各種情報を受信する車両側受信部とを備え、サーバは、所定の撮影手段によって車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、車両に乗車するタイミングで撮影された顔認証用画像に対して顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、車両が目的地に到着後の降車時に撮影された顔認証用画像に対して顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、所定条件充足時に、乗車済リストと降車済リストを照合して、照合結果にずれが発生した場合に放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備えるようにしたので、乗車時に行う顔認証に基づいて作成する乗車済リストと、降車時に行う顔認証に基づいて作成する降車済リストとを照合することで、乗車したが降車していない車内放置の可能性を検出して通知することが可能となる。

また、車内放置検出システム１００において、さらに、通知対象端末は、予め各ユーザに関連付けて登録した端末を含むものとし、通知処理部は、放置状態の可能性のあるユーザとして検出したユーザに関連付けて登録された通知対象端末に対して、放置状態の発生の可能性を通知するようにしたので、放置状態の可能性のあるユーザに関連付けて登録された通知対象端末、例えば、園児の保護者の携帯端末に対して通知がなされるので、保護者は一早く放置状態の可能性について認識することが可能となり、幼稚園、保育園の責任者に対して問い合わせを行うきっかけを作ることが可能となる。この仕組みを採用することで、施設側の責任者以外にも通知がなされるようになるため、放置状態の可能性を検出したが誰も通知に気付かないというヒューマンエラーの可能性をより低減させることが可能となる。

また、車内放置検出システム１００において、さらに、通知処理部は、第１顔認証処理部及び／又は第２顔認証処理部において顔認証を実行して該当ユーザを特定した場合に、当該ユーザに関連付けて登録された通知対象端末に対して顔認証を実行したことを通知するようにしたので、例えば、幼稚園、保育園に通う園児に対して顔認証処理を実行する度にその園児の保護者に顔認証によって当該園児を認識したことが通知されるようになるので、保護者の安心感につながるという効果が得られ、保護者の立場から見たときには、通知が来ないことをもって車内放置の可能性を疑うことが可能となる。この場合、保護者は施設側に連絡することで施設の責任者と状況を共有することになるので、トラブルへの対応が遅れるリスクを低減できる。

また、車内放置検出システム１００において、さらに、車両の内部には少なくとも１以上の人感センサが設置されており、人感センサは、所定の検知開始条件充足をトリガとして検知を開始し、所定の検知終了条件充足をトリガとして検知を終了するものとし、何らかの動作を検知した場合、車両端末を介して又は直接にサーバに対して動作検知を通知するものとし、通知処理部は、人感センサによる動作検知の通知を受信した場合、予め登録した通知対象端末に対して、車両内の動作検知を通知するようにしたので、乗車済リストと降車済リストの照合による放置状態の可能性の検出から何らかの理由で漏れてしまって車内に放置されてしまった場合であっても、人感センサによって車内放置を検出することが可能となり、より安全性を担保することが可能となる。

以上においては、ユーザをピックアップして乗車させて目的地まで移動後に目的地である施設でユーザを降車させる場合、すなわち幼稚園の送迎バスによる登園時において、車内にユーザが放置される状況を防ぐことを主として説明を行ったが、これに限定されるものではない。すなわち、施設でユーザを乗せて移動して各ユーザの降車希望位置において降車させる場合、すなわち幼稚園の送迎バスによる降園時において同様に適用するようにしてもよい。その場合、施設から車両に乗車する際の車両端末２０又は施設端末３０において、第１顔認証処理部１２と同様の顔認証処理を実行して乗車済リストを作成して、車両から降車する際の車両端末２０において第２顔認証処理部１３と同様の顔認証処理を実行して降車済リストを作成するようにし、通知処理部１４にて乗車済リストと降車済リストを照合するようにしてもよい。降園時には、降車場所に保護者が迎えに来ていることが想定されるため、車内放置の可能性は低いといえるが、降園時にも同様の検出を実行することで安全性を高めることが可能となる。また、降園時の各顔認証処理の度にも通知対象端末４０に対して顔認証処理を行ったことの通知を行うようにすることで、降園時についても保護者に安心感を与えることが可能となり、保護者の立場から見たときには、通知が来ないことをもって車両に乗っていない可能性などのトラブルを疑うことが可能となる。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１００車内放置検出システム
１０サーバ
１１顔認証事前登録部
１２第１顔認証処理部
１３第２顔認証処理部
１４通知処理部
１５記憶部
２０車両端末
３０施設端末
４０、４０１～４０ｎ通知対象端末
５０通信ネットワーク
６０人感センサ

Claims

サーバと、車両に設置される車両端末とを備え、前記車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムであって、
前記車両端末は、
前記車両に対応付けられた所定の撮影手段に基づいて所定のタイミングにて撮影されたユーザの顔認証用画像を前記サーバに送信する車両側送信部と、
前記サーバからの各種情報を受信する車両側受信部とを備え、
前記サーバは、
所定の撮影手段によって前記車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、前記登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、
前記車両に乗車するタイミングで撮影された前記顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、
前記車両が目的地に到着後の降車時に撮影された前記顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、
所定条件充足時に、前記乗車済リストと前記降車済リストを照合して、照合結果にずれが発生した場合に前記放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備える
ことを特徴とする車内放置検出システム。
サーバと、車両に設置される車両端末と、車両の目的地である施設に設置される施設端末とを備え、前記車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムであって、
前記車両端末は、
前記車両に対応付けられた所定の撮影手段に基づいて所定のタイミングにて撮影されたユーザの顔認証用画像を前記サーバに送信する車両側送信部と、
前記サーバからの各種情報を受信する車両側受信部とを備え、
前記施設端末は、
前記施設内に備えられた所定の撮影手段に基づいて撮影された前記ユーザの顔認証用画像を前記サーバに送信する施設側送信部と、
前記サーバからの各種情報を受信する施設側受信部とを備え、
前記サーバは、
所定の撮影手段によって前記車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、前記登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、
前記車両に乗車するタイミングで撮影された前記顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、
前記施設内で撮影された前記顔認証用画像に対して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、
所定条件充足時に、前記乗車済リストと前記降車済リストを照合して、照合結果にずれが発生した場合に前記放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備える
ことを特徴とする車内放置検出システム。
前記通知対象端末は、予め各ユーザに関連付けて登録した端末を含むものとし、
前記通知処理部は、放置状態の可能性のある前記ユーザとして検出したユーザに関連付けて登録された前記通知対象端末に対して、前記放置状態の発生の可能性を通知する
請求項１又は請求項２に記載の車内放置検出システム。
前記通知処理部は、前記第１顔認証処理部及び／又は前記第２顔認証処理部において顔認証を実行して該当ユーザを特定した場合に、当該ユーザに関連付けて登録された前記通知対象端末に対して顔認証を実行したことを通知する
請求項３に記載の車内放置検出システム。
前記車両の内部には少なくとも１以上の人感センサが設置されており、
前記人感センサは、所定の検知開始条件充足をトリガとして検知を開始し、所定の検知終了条件充足をトリガとして検知を終了するものとし、何らかの動作を検知した場合、前記車両端末を介して又は直接に前記サーバに対して動作検知を通知するものとし、
前記通知処理部は、前記人感センサによる動作検知の通知を受信した場合、予め登録した通知対象端末に対して、車両内の動作検知を通知する
請求項１又は請求項２に記載の車内放置検出システム。
サーバと、車両に設置される車両端末とを備え、前記車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムにおけるサーバであって、
所定の撮影手段によって前記車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、前記登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、
前記車両に対応付けられた所定の撮影手段によって前記車両に乗車するタイミングで撮影された前記顔認証用画像を前記車両端末から受信して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、
前記車両に対応付けられた所定の撮影手段によって前記車両が目的地に到着後の降車時に撮影された前記顔認証用画像を前記車両端末から受信して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、
所定条件充足時に、前記乗車済リストと前記降車済リストを照合して、照合結果にずれが発生した場合に前記放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備える
ことを特徴とするサーバ。
サーバと、車両に設置される車両端末と、車両の目的地である施設に設置される施設端末とを備え、前記車両に乗車したユーザが降車していない放置状態を検出するための車内放置検出システムにおけるサーバであって、
所定の撮影手段によって前記車両を利用する予定のユーザを撮影して得られた顔が写っている登録用画像と、当該ユーザを特定するためのユーザ特定情報とを取得し、前記登録用画像とユーザ特定情報とを用いて所定の顔認証手段に対して学習を行うことで当該ユーザの顔認証事前登録を実行する顔認証事前登録部と、
前記車両に対応付けられた所定の撮影手段によって前記車両に乗車するタイミングで撮影された前記顔認証用画像を前記車両端末から受信して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、乗車済リストを作成する第１顔認証処理部と、
前記施設内に備えられた所定の撮影手段によって前記施設内で撮影された前記顔認証用画像を前記施設端末から受信して前記顔認証手段による顔認証を実行することで当該顔認証用画像に該当するユーザを特定して、降車済リストを作成する第２顔認証処理部と、
所定条件充足時に、前記乗車済リストと前記降車済リストを照合して、照合結果にずれが発生した場合に前記放置状態の発生の可能性があると判定して、予め登録した通知対象端末に対して放置状態の発生の可能性を通知する通知処理部とを備える
ことを特徴とするサーバ。