JP7314961B2 - 忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム - Google Patents

忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム Download PDF

Info

Publication number
JP7314961B2
JP7314961B2 JP2021027499A JP2021027499A JP7314961B2 JP 7314961 B2 JP7314961 B2 JP 7314961B2 JP 2021027499 A JP2021027499 A JP 2021027499A JP 2021027499 A JP2021027499 A JP 2021027499A JP 7314961 B2 JP7314961 B2 JP 7314961B2
Authority
JP
Japan
Prior art keywords
owner
item
lost
vehicle
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021027499A
Other languages
English (en)
Other versions
JP2022128990A (ja
Inventor
賢治 近藤
俊樹 柏倉
雅信 田村
隆弘 石原
匡章 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021027499A priority Critical patent/JP7314961B2/ja
Priority to US17/675,322 priority patent/US20220270378A1/en
Priority to CN202210169192.3A priority patent/CN114973210A/zh
Publication of JP2022128990A publication Critical patent/JP2022128990A/ja
Application granted granted Critical
Publication of JP7314961B2 publication Critical patent/JP7314961B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management

Description

本開示は、忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラムに関する。
運転者の運転操作を要することなく、車両を自動運転によって走行させる自動運転システムが知られている(例えば特許文献1参照)。
特開2020-158008号公報
自動運転車両を、例えば予め設定された区間でユーザを乗せて運行される無人の自動運転バス等として運用することが検討されている。このように無人で運行される自動運転車両において、車内におけるユーザの忘れ物を検知することができる技術が求められていた。
本開示は、上記に鑑みてなされたものであって、無人で運行される車両において、車内におけるユーザの忘れ物を検知することができる忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラムを提供することを目的とする。
本開示に係る忘れ物検知システムは、無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両と、前記車両から所定の情報を取得するように構成される第一のプロセッサを有するセンタサーバと、を備え、前記第一のプロセッサが、前記車両から車内を撮影した画像を取得し、前記画像に基づいて、ユーザの忘れ物を検知し、前記画像に基づいて、前記忘れ物の持ち主候補を特定し、前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録する。
本開示に係る忘れ物検知装置は、無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両から、所定の情報を取得するように構成されるプロセッサを備え、前記プロセッサが、前記車両から車内を撮影した画像を取得し、前記画像に基づいて、ユーザの忘れ物を検知し、前記画像に基づいて、前記忘れ物の持ち主候補を特定し、前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録する。
本開示に係る忘れ物検知プログラムは、無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両から、所定の情報を取得するように構成されるプロセッサに、前記プロセッサが、前記車両から車内を撮影した画像を取得し、前記画像に基づいて、ユーザの忘れ物を検知し、前記画像に基づいて、前記忘れ物の持ち主候補を特定し、前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録する。
本開示によれば、無人で運行される車両において、車内におけるユーザの忘れ物を検知することができる。
図1は、実施形態に係る忘れ物検知システムの全体構成を示す概略図である。 図2は、実施形態に係る忘れ物検知システムの各構成要素の詳細を示すブロック図である。 図3は、実施形態に係る忘れ物検知システムが実行する忘れ物検知方法の一例を示すフローチャートである。
本開示の実施形態に係る忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラムについて、図面を参照しながら説明する。なお、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
(忘れ物検知システム)
実施形態に係る忘れ物検知装置を含む忘れ物検知システムについて、図1および図2を参照しながら説明する。忘れ物検知システム1は、図1に示すように、センタサーバ10と、運賃決済サーバ20と、車両30と、複数の端末40と、を有している。実施形態に係る忘れ物検知装置は、忘れ物検知システム1のうちのセンタサーバ10の機能により実現される。センタサーバ10、運賃決済サーバ20、車両30および端末40は、いずれも通信機能を備えており、ネットワークNWを通じて相互に通信可能に構成されている。このネットワークNWは、例えばインターネット回線網、携帯電話回線網等から構成される。
(センタサーバ)
センタサーバ10は、車両30から所定の情報を取得し、当該情報に基づいて車両30に乗車したユーザ(乗客)の忘れ物を検知するためのものである。このセンタサーバ10は、例えばワークステーションやパソコン等の汎用コンピュータによって実現される。
センタサーバ10は、図2に示すように、制御部11と、通信部12と、記憶部13と、を備えている。制御部11は、具体的には、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等からなるプロセッサと、RAM(Random Access Memory)、ROM(Read Only Memory)等からなるメモリ(主記憶部)と、を備えている。
制御部11は、記憶部13に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。制御部11は、記憶部13に格納されたプログラムの実行を通じて、忘れ物検知部111および持ち主特定部112として機能する。
忘れ物検知部111は、車両30の車内におけるユーザ(乗客)の忘れ物を検知する。まず、忘れ物検知部111は、車両30の車内を撮影した画像(以下、「車内画像」という)を、ネットワークNWを通じて車両30から取得する。なお、「車内画像」としては、例えば車両30の入口付近を撮影した画像、車両30の出口付近を撮影した画像、車両30に設けられた座席を撮影した画像等が挙げられる。また、車内画像は、静止画でもよく、動画でもよく、あるいは動画から切り出された静止画であってもよい。本実施形態では、車内画像として静止画を用いることを前提に説明を行う。
忘れ物検知部111は、例えば車両30のカメラ34によって車内画像が撮影されるたびに、車内画像を車両30から取得してもよく、あるいは予め設定された時間間隔で車両30から車内画像を取得してもよい。
忘れ物検知部111は、車内画像に基づいて、ユーザの忘れ物を検知する。忘れ物検知部111は、例えば周知の画像処理技術を利用して、時間的に連続する複数の車内画像にそれぞれ含まれる物体およびユーザを検知する。そして、忘れ物検知部111は、検知した物体のうち、車内画像に単独で写っている物体を、忘れ物として検知する。なお、「車内画像に単独で写っている物体」とは、例えばユーザから一定距離以上、かつ一定時間以上離れている物体のことを示している。
持ち主特定部112は、車内画像に基づいて、忘れ物の持ち主候補を特定する。持ち主特定部112は、例えば周知の画像処理技術を利用して、忘れ物検知部111によって忘れ物が検知された車内画像よりも過去に撮影された車内画像において、忘れ物に対して一定距離未満の距離にいるユーザを、忘れ物の持ち主候補として特定する。なお、持ち主特定部112が特定する忘れ物候補は、一人であってもよく、あるいは複数人であってもよい。
また、持ち主特定部112は、車内画像に基づいて、忘れ物検知部111によって検知された忘れ物の付近(一定距離未満)にいたユーザが、当該忘れ物から離れた後に、別のユーザが当該物体の付近に接近したことを検知した場合に、この別のユーザを忘れ物の持ち主候補として特定してもよい。すなわち、持ち主特定部112は、忘れ物に対して接近した全てのユーザを、持ち主候補として特定してもよい。
また、持ち主特定部112は、複数のユーザが車両30に乗車する際の車内画像において、忘れ物検知部111によって検出された忘れ物を所持している(あるいは身に着けている)ユーザを、忘れ物の持ち主候補として特定してもよい。このように、ユーザの乗車時の所持品に着目して検出処理を行うことにより、忘れ物の持ち主候補を早期かつ精度よくに特定することができる。
また、持ち主特定部112は、忘れ物検知部111によって忘れ物が検知された座席の車内画像において、座席に直前まで座っていたユーザを、忘れ物の持ち主候補として特定してもよい。このように、忘れ物の位置に着目して検出処理を行うことにより、忘れ物の持ち主候補を早期かつ精度よくに特定することができる。
持ち主特定部112は、忘れ物の持ち主候補を特定した場合、その情報を記憶部13の忘れ物台帳131に登録する。まず、持ち主特定部112は、車両30から取得した車内画像に基づいて、持ち主候補が車両30に乗車した時間(以下、「乗車時間」という)、または持ち主候補が車両30から降車した時間(以下、「降車時間」という)を特定する。
続いて、持ち主特定部112は、持ち主候補の乗車時間または降車時間に基づいて、運賃決済サーバ20から、持ち主候補の車両30における運賃決済履歴231を取得する。なお、「持ち主候補の乗車時間に基づいて持ち主候補の運賃決済履歴231を取得する」とは、例えば乗車時に運賃決済を行う車両30に持ち主候補が乗車した場合において、当該持ち主候補の乗車時間に関する情報を運賃決済サーバ20に送信し、持ち主候補の運賃決済履歴231を検索することを示している。同様に、「持ち主候補の降車時間に基づいて持ち主候補の運賃決済履歴231を取得する」とは、例えば降車時に運賃決済を行う車両30に持ち主候補が乗車した場合において、当該持ち主候補の降車時間に関する情報を運賃決済サーバ20に送信し、持ち主候補の運賃決済履歴231を検索することを示している。
続いて、持ち主特定部112は、運賃決済履歴231に基づいて、持ち主候補の情報を取得する。ここで、「持ち主候補の情報」とは、例えば持ち主候補の氏名、連絡先、持ち主候補が所持する端末40のID等、持ち主候補を特定可能な情報のことを示している。
続いて、持ち主特定部112は、忘れ物の画像を含む忘れ物情報と、特定した持ち主候補の情報とを関連付けて、記憶部13の忘れ物台帳131に登録する。なお、「忘れ物情報」としては、例えば忘れ物の画像、忘れ物検知部111によって忘れ物として検知された日時、忘れ物が発見された車両30の情報(車両番号等)、忘れ物が発見された車内の位置等の情報が挙げられる。このように、忘れ物情報と持ち主候補の情報とを関連付けて忘れ物台帳131に登録することにより、忘れ物の持ち主が発見されやすくなる。
また、持ち主特定部112は、忘れ物検知部111によって忘れ物が検知された際に、当該忘れ物が所定の要件に合致している場合にのみ、持ち主候補を特定してもよい。なお、「所定の要件に合致している場合」とは、例えば忘れ物として検知された物体を特に管理または返却する必要がない場合のことであり、具体的には、忘れ物が空き缶、空きペットボトル、雑誌、新聞等である場合が挙げられる。このように、車内の忘れ物を検知した場合であっても、必要な場合に限って持ち主候補を探すことにより、持ち主候補の無駄な探索を減らすことができる。
また、持ち主特定部112は、忘れ物の持ち主候補を特定した際に、車両30の車内に持ち主候補が残っている場合は、車両30で車内アナウンスを行わせてもよい。この場合、まず持ち主特定部112は、車両30から取得した車内画像に基づいて、持ち主候補がまだ車両30の車内にいるか否かを判定する。
すなわち、持ち主特定部112は、例えば周知の画像処理技術を利用して、持ち主候補がまだ車内にいるか否かを判定し、持ち主候補がまだ車内にいると判定した場合、車内アナウンス情報を、ネットワークNWを通じて車両30に送信(出力)する。これにより、車両30に設置されたスピーカ35によって車内アナウンス情報を再生させる。なお、「車内アナウンス情報」とは、車内に忘れ物がある旨を喚起するための情報であり、例えば忘れ物を特定可能な内容を含むテキスト情報、あるいは当該テキスト情報に対応する音声情報等が挙げられる。このように、車内にいる持ち主候補に向けて車内アナウンスを行うことにより、忘れ物の持ち主が早期に発見されやすくなる。
また、持ち主特定部112は、忘れ物の持ち主候補を特定した際に、持ち主候補に対して問い合わせを行うことにより、持ち主を特定してもよい。この場合、持ち主特定部112は、車内画像から検知した持ち主候補の乗車時間または降車時間に基づいて、運賃決済サーバ20から、持ち主候補の車両30における運賃決済履歴231を取得する。続いて、持ち主特定部112は、当該運賃決済履歴231に基づいて、持ち主候補の情報を取得する。続いて、持ち主特定部112は、持ち主候補の情報に基づいて、当該持ち主候補が所持する端末40に忘れ物情報を送信する。そして、持ち主特定部112は、持ち主候補が所持する端末40から、当該持ち主候補が忘れ物の持ち主である旨の情報を取得した場合、当該ユーザが忘れ物の持ち主として特定する。
続いて、持ち主特定部112は、忘れ物の画像を含む忘れ物情報と、特定した持ち主の情報とを関連付けて、記憶部13の忘れ物台帳131に登録する。このように、忘れ物の持ち主候補に対して問い合わせを行うことにより、忘れ物の持ち主が早期に発見されやすくなる。
また、持ち主特定部112は、忘れ物の持ち主候補を特定した際に、ユーザからの申告に基づいて、持ち主を特定してもよい。この場合、持ち主特定部112は、ユーザが所持する端末40から、当該ユーザが車内で忘れ物をした旨を申告する情報を取得すると、忘れ物台帳131を参照し、申告のあった忘れ物の候補を検索する。続いて、持ち主特定部112は、申告のあった端末40に対して、忘れ物台帳131に登録された忘れ物の候補の画像の一部を変更した画像を送信する。
なお、「一部を変更した画像」とは、例えば忘れ物の一部を隠した画像、忘れ物の一部をモザイク処理した画像、忘れ物の一部の色を変更した画像、忘れ物の輪郭のみを示した画像、忘れ物に貼ってあるシールやキーホルダーを隠した画像、等が挙げられる。そして、持ち主特定部112は、端末40から、当該端末40を所持するユーザが忘れ物の持ち主である旨の情報を取得した場合、当該ユーザが忘れ物の持ち主であると特定する。
続いて、持ち主特定部112は、忘れ物の画像を含む忘れ物情報と、持ち主の情報とを関連付けて、記憶部13の忘れ物台帳131に登録する。このように、ユーザからの忘れ物の申告を受け付けることにより、忘れ物が持ち主に返却される可能性を高めることができる。
また、持ち主特定部112は、ユーザへの問い合わせまたはユーザからの申告に基づいて、忘れ物の持ち主を特定した場合、特定した持ち主の次回の乗車時間を問い合わせてもよい。この場合、持ち主特定部112は、持ち主が所持する端末40から、持ち主の次回の乗車時間に関する情報を取得する。そして、取得した次回の乗車時間に関する情報を、忘れ物の受け取り時間として、忘れ物台帳131に登録する。このように、忘れ物の持ち主を特定した際に、当該持ち主の次回の乗車時間を問い合わせ、この乗車時間に合わせて忘れ物を車両30に載せて運行させることにより、忘れ物を持ち主に返却することができる。
通信部12は、例えばLAN(Local Area Network)インターフェースボード、無線通信のための無線通信回路等から構成される。通信部12は、公衆通信網であるインターネット等のネットワークNWに接続されている。そして、通信部12は、当該ネットワークNWに接続することにより、運賃決済サーバ20、車両30および端末40との間で通信を行う。
記憶部13は、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(Hard Disk Drive:HDD)およびリムーバブルメディア等の記録媒体から構成される。リムーバブルメディアとしては、例えばUSB(Universal Serial Bus)メモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)のようなディスク記録媒体が挙げられる。記憶部13には、オペレーティングシステム(Operating System:OS)、各種プログラム、各種テーブル、各種データベース等が格納可能である。
記憶部13には、忘れ物台帳131が格納されている。この忘れ物台帳131は、忘れ物情報と、忘れ物の持ち主候補に関する情報と、忘れ物の持ち主に関する情報とが登録されたデータベースである。忘れ物台帳131に登録される忘れ物情報としては、例えば忘れ物の画像、忘れ物検知部111によって忘れ物として検知された日時、忘れ物が発見された車両30の情報(車両番号等)、忘れ物が発見された車内の位置等の情報が挙げられる。また、この忘れ物情報には、持ち主特定部112によって特定された持ち主候補の情報または持ち主の情報が関連付けられている。
(運賃決済サーバ)
運賃決済サーバ20は、車両30における運賃決済サービスを提供するためのものである。この運賃決済サーバ20は、例えばワークステーションやパソコン等の汎用コンピュータによって実現される。
運賃決済サーバ20は、図2に示すように、制御部21と、通信部22と、記憶部23と、を備えている。制御部21、通信部22および記憶部23は、ハードウェアとしては制御部11、通信部12および記憶部13と同様である。
制御部21は、車両30から、当該車両30で実施されたユーザの運賃決済情報を取得し、ユーザごとの運賃決済情報を、運賃決済履歴231として記憶部23に格納する。なお、制御部21における運賃決済処理の方法は一般的なキャッシュレス決済処理の方法と同様である。例えば、ユーザが、端末40の運賃決済アプリに予め入金した電子マネーによって、車両30に設けられた運賃決済端末で運賃決済を行うと、車両30から運賃決済サーバ20へと運賃決済情報が送信される。これを受けて、制御部21において、ユーザの電子マネーの残額を決済金額分だけ減額する処理を行い、その処理結果を車両30および端末40に送信する。これにより、運賃決済処理が完了する。
また、制御部21は、センタサーバ10の持ち主特定部112の要求に応じて、記憶部23に格納された運賃決済履歴231を、持ち主特定部112に送信する。
通信部22は、ネットワークNWを介した無線通信により、センタサーバ10および車両30との間で通信を行う。記憶部23には、運賃決済履歴231が格納されている。
運賃決済履歴231は、車両30におけるユーザの運賃決済に関する情報である。運賃決済履歴231としては、決済を行ったユーザを特定するための情報(例えばID、氏名等)、決済日時(乗車日時)、決済場所、決済金額等の情報が含まれる。
(車両)
車両30は、自律走行(自動走行)が可能な移動体である。車両30は、無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する。車両30は、図2に示すように、制御部31と、通信部32と、記憶部33と、カメラ34と、スピーカ35と、センサ群36と、を備えている。制御部31、通信部32および記憶部33は、ハードウェアとしては制御部11、通信部12および記憶部13と同様である。また、車両30の入口付近または出口付近には、ユーザが運賃決済を行うための運賃決済端末が設置されている。
通信部32は、ネットワークNWを介した無線通信により、センタサーバ10および運賃決済サーバ20との間で通信を行う。記憶部33には、例えばカメラ34で撮影された画像、センタサーバ10から取得した車内アナウンス情報等が、必要に応じて格納される。
カメラ34は、例えばCCD(Charge Coupled Device)またはCIS(CMOS Image Sensor)等の撮像素子を内蔵する撮像装置である。カメラ34は、車内に複数配置されている。カメラ34は、例えば車両30の入口付近、車両30の出口付近、車両30の座席付近等にそれぞれ配置される。カメラ34は、撮影した車内画像を、ネットワークNWを経由してセンタサーバ10に送信する。
スピーカ35は、車両30の車内に設置されている。スピーカ35は、センタサーバ10から車内アナウンス情報を取得した場合に、当該車内アナウンス情報を再生する。これにより、車内に忘れ物がある旨が、車内の忘れ物候補者に対して喚起される。
センサ群36は、自動運転を実現するためのセンサであり、例えば3D-LiDAR、ミリ波センサ、赤外線センサ、加速度センサ、GPSセンサ等が挙げられる。
(端末)
端末40は、センタサーバ10から忘れ物情報を取得、あるいはセンタサーバ10に対して車内で忘れ物をした旨の申告を送信するためのものである。端末40は、例えばユーザが所有するスマートフォン、携帯電話、タブレット端末、ウェアラブルコンピュータ等によって実現される。
端末40は、図2に示すように、制御部41と、通信部42と、記憶部43と、操作・表示部44と、を備えている。制御部41、通信部42および記憶部43は、ハードウェアとしては制御部11、通信部12および記憶部13と同様である。制御部41は、記憶部43に格納されたプログラムの実行を通じて、表示制御部411および忘れ物申告部412として機能する。
表示制御部411は、操作・表示部44における表示を制御する。表示制御部411は、例えば端末40にインストールされた運賃決済アプリの画面、忘れ物申告アプリの画面等を、操作・表示部44に表示させる。
通信部42は、ネットワークNWを介した無線通信により、センタサーバ10との間で通信を行う。記憶部43には、例えばセンタサーバ10から取得した忘れ物情報、車両30で運賃の決済を行うための運賃決済アプリ、車両30で忘れ物をした際に忘れ物の申告を行うための忘れ物申告アプリ等が、必要に応じて格納される。
操作・表示部44は、例えばタッチパネルディスプレイ等により構成されており、ユーザの手指やペン等による操作を受け付ける入力機能と、表示制御部411の制御に基づいて各種情報を表示する表示機能と、を有している。操作・表示部44は、表示制御部411の制御に基づいて、端末40にインストールされた運賃決済アプリの画面、忘れ物申告アプリの画面等を表示する。
(忘れ物検知方法)
実施形態に係る忘れ物検知システム1が実行する忘れ物検知方法の処理手順の一例について、図3を参照しながら説明する。同図では、センタサーバ10における処理を基準に説明する。
まず、忘れ物検知部111は、車両30から車内画像を取得する(ステップS1)。続いて、忘れ物検知部111は、車内画像に基づいて、車内に忘れ物があるか否かを判定する(ステップS2)。
車内に忘れ物があると判定した場合(ステップS2でYes)、持ち主特定部112は、忘れ物を管理する必要があるか否かを判定する(ステップS3)。なお、ステップS2において、車内に忘れ物がないと判定した場合(ステップS2でNo)、持ち主特定部112は、本処理を終了する。
忘れ物を管理する必要があると判定した場合(ステップS3でYes)、持ち主特定部112は、車内画像に基づいて、忘れ物の持ち主候補を特定する(ステップS4)。なお、ステップS3において、忘れ物を管理する必要がないと判定した場合(ステップS3でNo)、持ち主特定部112は、本処理を終了する。
続いて、持ち主特定部112は、車内画像に基づいて、持ち主候補がまだ車内にいるか否かを判定する(ステップS5)。持ち主候補がまだ車内にいる場合(ステップS5でYes)、持ち主特定部112は、車内アナウンス情報を車両30に送信し(ステップS6)、本処理を終了する。
ステップS5において、持ち主候補が車内にはいないと判定した場合(ステップS5でNo)、運賃決済サーバ20から、持ち主候補の運賃決済履歴231を取得する(ステップS7)。続いて、持ち主特定部112は、忘れ物情報と、運賃決済履歴231から特定した持ち主候補の情報とを関連付けて、忘れ物台帳131に登録する(ステップS8)。
続いて、持ち主特定部112は、忘れ物情報を持ち主候補が所持する端末40に送信する(ステップS9)。続いて、持ち主特定部112は、忘れ物の持ち主を特定したか否かを判定する(ステップS10)。ステップS10において、持ち主特定部112は、持ち主候補が所持する端末40から、忘れ物の持ち主である旨の情報を取得した場合、肯定判定を行い、忘れ物の持ち主である旨の情報を取得しなかった場合、否定判定を行う。
忘れ物の持ち主を特定したと判定した場合(ステップS10でYes)、持ち主特定部112は、持ち主が所持する端末40から、持ち主の次回の乗車時間に関する情報を取得する(ステップS11)。なお、ステップS10において、忘れ物の持ち主を特定していないと判定した場合(ステップS10でNo)、持ち主特定部112は、本処理を終了する。
続いて、持ち主特定部112は、取得した次回の乗車時間に関する情報を、忘れ物の受け取り時間として、忘れ物台帳131に登録し(ステップS12)、本処理を終了する。
以上説明したように、実施形態に係る忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラムによれば、無人で運行される車両30において、車内におけるユーザの忘れ物を検知することができる。また、車両30の車内における忘れ物とその持ち主候補に関する情報を忘れ物台帳131に登録することにより、忘れ物が持ち主に返却される可能性を高めることができる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
例えば、実施形態に係る忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラムでは、車両30のカメラ34で撮影された車内画像に基づいて、忘れ物および持ち主候補を検知していたが、カメラ34ではなく、例えば赤外線センサ等のその他の手段を用いて、忘れ物および持ち主候補を検知してもよい。
また、実施形態に係る忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラムでは、忘れ物の持ち主を特定した際に、当該持ち主の次回の乗車時間を問い合わせていたが(図3のステップS10,S11参照)、持ち主に問い合わせることなく、持ち主の乗車履歴(乗車習慣)に基づいて次回の乗車時間を自動的に把握してもよい。この場合、忘れ物検知部111は、忘れ物の持ち主を特定すると、運賃決済サーバ20から、持ち主候補の車両30における運賃決済履歴231を取得する。
続いて、持ち主特定部112は、運賃決済履歴231を参照し、持ち主候補の決済日時、すなわち乗車時間に周期性があるか否かを判定する。なお、「乗車時間に周期性がある」とは、毎日同じ時間に車両30に乗車している場合、毎週同じ曜日の同じ時間に車両30に乗車している場合、毎月同じ日の同じ時間に車両30に乗車している場合等が挙げられる。
持ち主候補の乗車時間に周期性があると判定した場合、持ち主特定部112は、持ち主候補の次回の乗車時間を予測し、予測した乗車時間を、忘れ物の受け取り時間として、忘れ物台帳131に登録する。このように、忘れ物の持ち主を特定した際に、当該持ち主の乗車履歴に基づいて、次回の乗車時間を予測し、この乗車時間に合わせて忘れ物を車両30に載せて運行させることにより、持ち主に忘れ物を返却することができる。
1 忘れ物検知システム
10 センタサーバ
11 制御部
111 忘れ物検知部
112 持ち主特定部
12 通信部
13 記憶部
131 忘れ物台帳
20 運賃決済サーバ
21 制御部
22 通信部
23 記憶部
231 運賃決済履歴
30 車両
31 制御部
32 通信部
33 記憶部
34 カメラ
35 スピーカ
36 センサ群
40 端末
41 制御部
411 表示制御部
412 忘れ物申告部
42 通信部
43 記憶部
44 操作・表示部
NW ネットワーク

Claims (12)

  1. 無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両と、
    前記車両から所定の情報を取得するように構成される第一のプロセッサを有するセンタサーバと、
    を備え、
    前記第一のプロセッサは
    記車両から車内を撮影した画像を取得し、
    前記画像に基づいて、ユーザの忘れ物を検知し、
    前記画像に基づいて、前記忘れ物の持ち主候補を特定し、
    前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、
    前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録し、
    前記持ち主候補を特定した場合、前記持ち主候補の情報に基づいて、前記持ち主候補が所持する端末に前記忘れ物情報を出力することにより、前記忘れ物の持ち主を特定し、
    前記持ち主を特定した場合、前記持ち主が所持する端末から、前記持ち主の次回の乗車時間に関する情報を取得し、
    取得した前記次回の乗車時間に関する情報を、忘れ物の受け取り時間として前記忘れ物台帳に登録する、
    忘れ物検知システム。
  2. 無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両と、
    前記車両から所定の情報を取得するように構成される第一のプロセッサを有するセンタサーバと、
    を備え、
    前記第一のプロセッサは、
    前記車両から車内を撮影した画像を取得し、
    前記画像に基づいて、ユーザの忘れ物を検知し、
    前記画像に基づいて、前記忘れ物の持ち主候補を特定し、
    前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、
    前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録し、
    ユーザが所持する端末から、前記ユーザが車内で忘れ物をした旨を申告する情報を取得した場合、前記端末に対して、前記忘れ物台帳に登録された前記忘れ物の画像の一部を変更した画像を出力し、
    前記端末から、前記忘れ物の持ち主である旨の情報を取得した場合、前記ユーザが前記忘れ物の持ち主であると特定し、
    前記端末から、前記ユーザの次回の乗車時間に関する情報を取得し、
    取得した前記次回の乗車時間に関する情報を、忘れ物の受け取り時間として前記忘れ物台帳に登録する、
    忘れ物検知システム。
  3. 前記第一のプロセッサは、前記忘れ物を検知した場合、検知した忘れ物が所定の要件に合致している場合にのみ、前記持ち主候補を特定する、
    請求項1または請求項2に記載の忘れ物検知システム。
  4. 前記第一のプロセッサは、
    前記持ち主候補を特定した場合、前記画像に基づいて、前記持ち主候補が前記車両の車内にいるか否かを判定し、
    前記持ち主候補が前記車両の車内にいると判定した場合、車内に忘れ物がある旨を喚起する車内アナウンス情報を前記車両に出力し、前記車両に設置されたスピーカによって前記車内アナウンス情報を再生させる、
    請求項1または請求項2に記載の忘れ物検知システム。
  5. 無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両から、所定の情報を取得するように構成されるプロセッサを備え、
    前記プロセッサは
    記車両から車内を撮影した画像を取得し、
    前記画像に基づいて、ユーザの忘れ物を検知し、
    前記画像に基づいて、前記忘れ物の持ち主候補を特定し、
    前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、
    前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録し、
    前記持ち主候補を特定した場合、前記持ち主候補の情報に基づいて、前記持ち主候補が所持する端末に前記忘れ物情報を出力することにより、前記忘れ物の持ち主を特定し、
    前記持ち主を特定した場合、前記持ち主が所持する端末から、前記持ち主の次回の乗車時間に関する情報を取得し、
    取得した前記次回の乗車時間に関する情報を、忘れ物の受け取り時間として前記忘れ物台帳に登録する、
    忘れ物検知装置。
  6. 無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両から、所定の情報を取得するように構成されるプロセッサを備え、
    前記プロセッサは、
    前記車両から車内を撮影した画像を取得し、
    前記画像に基づいて、ユーザの忘れ物を検知し、
    前記画像に基づいて、前記忘れ物の持ち主候補を特定し、
    前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、
    前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録し、
    ユーザが所持する端末から、前記ユーザが車内で忘れ物をした旨を申告する情報を取得した場合、前記端末に対して、前記忘れ物台帳に登録された前記忘れ物の画像の一部を変更した画像を出力し、
    前記端末から、前記忘れ物の持ち主である旨の情報を取得した場合、前記ユーザが前記忘れ物の持ち主であると特定し、
    前記端末から、前記ユーザの次回の乗車時間に関する情報を取得し、
    取得した前記次回の乗車時間に関する情報を、忘れ物の受け取り時間として前記忘れ物台帳に登録する、
    忘れ物検知装置。
  7. 前記プロセッサは、前記忘れ物を検知した場合、検知した忘れ物が所定の要件に合致している場合にのみ、前記持ち主候補を特定する、
    請求項5または請求項6に記載の忘れ物検知装置。
  8. 前記プロセッサは、
    前記持ち主候補を特定した場合、前記画像に基づいて、前記持ち主候補が前記車両の車内にいるか否かを判定し、
    前記持ち主候補が前記車両の車内にいると判定した場合、車内に忘れ物がある旨を喚起する車内アナウンス情報を前記車両に出力し、前記車両に設置されたスピーカによって前記車内アナウンス情報を再生させる、
    請求項または請求項に記載の忘れ物検知装置。
  9. 無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両から、所定の情報を取得するように構成されるプロセッサに、
    記車両から車内を撮影した画像を取得し、
    前記画像に基づいて、ユーザの忘れ物を検知し、
    前記画像に基づいて、前記忘れ物の持ち主候補を特定し、
    前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、
    前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録し、
    前記持ち主候補を特定した場合、前記持ち主候補の情報に基づいて、前記持ち主候補が所持する端末に前記忘れ物情報を出力することにより、前記忘れ物の持ち主を特定し、
    前記持ち主を特定した場合、前記持ち主が所持する端末から、前記持ち主の次回の乗車時間に関する情報を取得し、
    取得した前記次回の乗車時間に関する情報を、忘れ物の受け取り時間として前記忘れ物台帳に登録する、
    ことを実行させる忘れ物検知プログラム。
  10. 無人かつ自律的に走行可能であり、予め設定された区間でユーザを乗せて運行する車両から、所定の情報を取得するように構成されるプロセッサに、
    前記車両から車内を撮影した画像を取得し、
    前記画像に基づいて、ユーザの忘れ物を検知し、
    前記画像に基づいて、前記忘れ物の持ち主候補を特定し、
    前記持ち主候補の前記車両における運賃決済履歴に基づいて、前記持ち主候補の情報を取得し、
    前記忘れ物の画像を含む忘れ物情報と、前記持ち主候補の情報とを関連付けて、忘れ物台帳に登録し、
    ユーザが所持する端末から、前記ユーザが車内で忘れ物をした旨を申告する情報を取得した場合、前記端末に対して、前記忘れ物台帳に登録された前記忘れ物の画像の一部を変更した画像を出力し、
    前記端末から、前記忘れ物の持ち主である旨の情報を取得した場合、前記ユーザが前記忘れ物の持ち主であると特定し、
    前記端末から、前記ユーザの次回の乗車時間に関する情報を取得し、
    取得した前記次回の乗車時間に関する情報を、忘れ物の受け取り時間として前記忘れ物台帳に登録する、
    ことを実行させる忘れ物検知プログラム。
  11. 前記プロセッサは、前記忘れ物を検知した場合、検知した忘れ物が所定の要件に合致している場合にのみ、前記持ち主候補を特定する、
    ことを実行させる請求項9または請求項10に記載の忘れ物検知プログラム。
  12. 前記プロセッサは、
    前記持ち主候補を特定した場合、前記画像に基づいて、前記持ち主候補が前記車両の車内にいるか否かを判定し、
    前記持ち主候補が前記車両の車内にいると判定した場合、車内に忘れ物がある旨を喚起する車内アナウンス情報を前記車両に出力し、前記車両に設置されたスピーカによって前記車内アナウンス情報を再生させる、
    ことを実行させる請求項または請求項10に記載の忘れ物検知プログラム。
JP2021027499A 2021-02-24 2021-02-24 忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム Active JP7314961B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021027499A JP7314961B2 (ja) 2021-02-24 2021-02-24 忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム
US17/675,322 US20220270378A1 (en) 2021-02-24 2022-02-18 Lost item detection system, lost item detection apparatus, and computer readable recording medium
CN202210169192.3A CN114973210A (zh) 2021-02-24 2022-02-23 遗忘物品检测系统、遗忘物品检测装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021027499A JP7314961B2 (ja) 2021-02-24 2021-02-24 忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム

Publications (2)

Publication Number Publication Date
JP2022128990A JP2022128990A (ja) 2022-09-05
JP7314961B2 true JP7314961B2 (ja) 2023-07-26

Family

ID=82899776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021027499A Active JP7314961B2 (ja) 2021-02-24 2021-02-24 忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム

Country Status (3)

Country Link
US (1) US20220270378A1 (ja)
JP (1) JP7314961B2 (ja)
CN (1) CN114973210A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795356B2 (en) * 2017-08-31 2020-10-06 Uatc, Llc Systems and methods for determining when to release control of an autonomous vehicle
JP7481042B1 (ja) 2023-02-02 2024-05-10 Necプラットフォームズ株式会社 座席管理システム、座席管理装置、方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019156067A (ja) 2018-03-09 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2019168815A (ja) 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2020004252A (ja) 2018-06-29 2020-01-09 株式会社東芝 残留物検出システム
JP2020166524A (ja) 2019-03-29 2020-10-08 パナソニックIpマネジメント株式会社 監視システム、監視方法およびコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019156067A (ja) 2018-03-09 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2019168815A (ja) 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2020004252A (ja) 2018-06-29 2020-01-09 株式会社東芝 残留物検出システム
JP2020166524A (ja) 2019-03-29 2020-10-08 パナソニックIpマネジメント株式会社 監視システム、監視方法およびコンピュータプログラム

Also Published As

Publication number Publication date
US20220270378A1 (en) 2022-08-25
JP2022128990A (ja) 2022-09-05
CN114973210A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
JP7314961B2 (ja) 忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム
JP6992874B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
WO2021004311A1 (zh) 用户界面信息展示方法、装置及电子设备
JP7140223B2 (ja) 決済処理装置、方法およびプログラム
JP5140027B2 (ja) 情報提供装置、情報提供方法およびプログラム
US20160321618A1 (en) System and method for recommending target locations
JP6830690B1 (ja) 車両管理サーバ
JP2014126912A (ja) 情報処理装置、通信端末装置および記憶媒体
JP2020052471A (ja) 乗車マナー評価装置、乗車マナー評価システム、乗車マナー評価方法、及び乗車マナー評価用コンピュータプログラム
JP2017228115A (ja) 情報を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および情報を提供するための装置
CN109703513A (zh) 信息提供系统和车辆
KR101623102B1 (ko) 영상 요약데이터 태깅 및 무선통신 기반의 스마트 차량용 카메라 기술과 그 장치를 이용한 정보 거래 서비스 제공 시스템 및 방법
WO2019151995A1 (en) Motion planning for autonomous point-of-sale vehicles
JP2023153148A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
CN112559858A (zh) 服务信息的推送方法、装置、计算机可读介质及电子设备
CN112612958A (zh) 订单处理方法、装置、电子设备和计算机可读介质
US20230135393A1 (en) Techniques for organizing vehicle parking
KR100910251B1 (ko) 모바일기기를 이용한 자동차 매매 중개시스템
US20210407218A1 (en) Parking management system, parking management device, and computer-readable recording medium
JP6931025B2 (ja) 情報処理装置及びプログラム
JP7465476B2 (ja) 決済処理装置、方法および決済処理プログラム
WO2009045272A2 (en) Facilitating identification of an object recorded in digital content records
CN111007994B (zh) 图像生成装置、图像生成方法和记录程序的非暂时性记录介质
JP7315046B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP2022147790A (ja) 車両運行装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R151 Written notification of patent or utility model registration

Ref document number: 7314961

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151