JP6862629B2 - Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system - Google Patents
Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system Download PDFInfo
- Publication number
- JP6862629B2 JP6862629B2 JP2017068590A JP2017068590A JP6862629B2 JP 6862629 B2 JP6862629 B2 JP 6862629B2 JP 2017068590 A JP2017068590 A JP 2017068590A JP 2017068590 A JP2017068590 A JP 2017068590A JP 6862629 B2 JP6862629 B2 JP 6862629B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- watcher
- terminal
- image
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000012546 transfer Methods 0.000 title claims description 10
- 238000004891 communication Methods 0.000 claims description 60
- 238000007726 management method Methods 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Images
Landscapes
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Collating Specific Patterns (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Description
本発明は、子供や高齢者等に対する見守りシステムに関する。 The present invention relates to a watching system for children, the elderly, and the like.
従来、車両を使って、子供や高齢者等を見守るための見守りシステムが知られている。例えば、特許文献1には、オンデマンド交通を利用する見守対象者に対する見守りを実行することができる通知システムが開示されている。このシステムによれば、運行管理サーバの送受信部は、乗合車両に搭載した情報端末装置から送信される、乗降日時と、停車地点と、乗車者名又は降車者名と、からなる乗降情報を受信し、通知情報生成部は、受信した乗車者名又は降車者名に対応付けられた通知先を通知先記憶部から取得し、取得した通知先を宛先とした通知情報を生成し、送受信部は、生成された通知情報を送信する。 Conventionally, a watching system for watching over children, the elderly, etc. using a vehicle has been known. For example, Patent Document 1 discloses a notification system capable of performing watching over a person to be watched using on-demand traffic. According to this system, the transmission / reception unit of the operation management server receives boarding / alighting information consisting of the boarding / alighting date / time, the stop point, and the passenger name or the getting-off person name transmitted from the information terminal device mounted on the passenger vehicle. Then, the notification information generation unit acquires the notification destination associated with the received passenger name or disembarkation name from the notification destination storage unit, generates notification information to the acquired notification destination, and the transmission / reception unit generates the notification information. , Send the generated notification information.
また、特許文献2には、自動車に搭載されたシステムによって対象を見守る方法であって、無線機器を検知すること、無線機器の位置を決定すること、車両に対する無線機器の位置を認識すること、あらかじめ設定された状態宣言に関して無線機器の位置を分析すること、及びあらかじめ設定された状態宣言の充足に応じて警報を活性化することを含むシステムが開示されている。 Further, Patent Document 2 describes a method of watching over an object by a system mounted on an automobile, such as detecting a wireless device, determining the position of the wireless device, and recognizing the position of the wireless device with respect to the vehicle. A system is disclosed that includes analyzing the position of a wireless device with respect to a preset state declaration and activating an alarm in response to the satisfaction of the preset state declaration.
また、単に見守りの機能だけでなく、別の機能を付加した見守りシステムも知られている。例えば、特許文献3には、親が自分の子供の顔を含む画像で子供の存在を確認することができ、また、画像を子供の成長記録などの記念画像として収集することができる見守りシステムが開示されている。このシステムによれば、携帯端末は、無線タグ識別子判定部と、顔画像取得部と、顔画像送信部と、を備え、無線タグ識別子判定部は、受信した電波に含まれる無線タグ識別子が管理対象とする無線タグの無線タグ識別子であるか否かを判定し、顔画像取得部は、受信した電波に含まれる無線タグ識別子が管理対象とする無線タグの無線タグ識別子であると無線タグ識別子判定部が判定した場合に、見守り対象者の顔を含む画像を取得し、顔画像送信部は、顔画像取得部が取得した見守り対象者の顔を含む画像を管理対象とする無線タグの無線タグ識別子に関連付けされた通信装置に送信する。 In addition to the monitoring function, a monitoring system with another function is also known. For example, Patent Document 3 includes a monitoring system that allows parents to confirm the existence of a child with an image including the face of their own child and to collect the image as a commemorative image such as a growth record of the child. It is disclosed. According to this system, the mobile terminal includes a wireless tag identifier determination unit, a face image acquisition unit, and a face image transmission unit, and the wireless tag identifier determination unit manages the wireless tag identifier included in the received radio wave. The face image acquisition unit determines whether or not it is the wireless tag identifier of the target wireless tag, and determines that the wireless tag identifier included in the received radio wave is the wireless tag identifier of the wireless tag to be managed. When the determination unit determines, the image including the face of the monitoring target person is acquired, and the face image transmission unit wirelessly manages the image including the face of the monitoring target person acquired by the face image acquisition unit. Send to the communication device associated with the tag identifier.
ところで、国が官民ITS構想・ロードマップ2016で提示しているように、「限定地域での無人自動走行移動サービス」の実現に向けた取り組みが加速している。これは、制限された区域(限定地域)内において、地域公共交通に近いイメージのサービスを行おうとするものであり、基本的には、限定地域内から地域公共交通までをつなぐ移動手段という想定であるが、自宅玄関前からの乗降の可能性も検討されている。既に大学や企業による公道での自動走行技術実証も進められており、この流れでいけば、政府のロードマップのとおり、2020年度にはサービスが普及し始めているかもしれないと、期待されている。ただし、一般道路を含む完全無人自動走行にはまだまだ困難な課題が多く、限定地域で人間が同乗して自動化の試みが今後も続くと予想される。 By the way, as the government has presented in the public-private ITS concept / roadmap 2016, efforts toward the realization of "unmanned autonomous driving and moving services in limited areas" are accelerating. This is to provide a service with an image similar to local public transportation within a restricted area (limited area), and basically it is assumed that it is a means of transportation that connects the limited area to the local public transportation. However, the possibility of getting on and off from the front door of the house is also being considered. Universities and companies are already demonstrating autonomous driving technology on public roads, and it is expected that if this trend is followed, the service may begin to spread in 2020, as shown by the government roadmap. .. However, there are still many difficult issues for fully unmanned autonomous driving, including general roads, and it is expected that humans will continue to try to automate in limited areas.
発明者らは、主に以下の3つの社会的課題を意識し、実社会に組み込まれる無人自動走行移動サービスの早期立ち上げをめざしている。
(1)バスやタクシーの運転手不足時代の到来という深刻な社会的課題
(2)利用者の減少から運転手人件費が負担となり、公共交通が維持できない地域が加速的に増大
(3)生活密着型の新しい移動手段がないと、急速に進む高齢化時代を支えられない
特に(3)の社会的な課題については、高齢化が進むコミュニティに対して、実証検討を行うなどの具体的な活動を進めている。
The inventors are mainly aware of the following three social issues, and are aiming for the early launch of an unmanned autonomous driving mobile service that will be incorporated into the real world.
(1) A serious social issue of the arrival of an era of shortage of bus and taxi drivers
(2) Due to the decrease in users, the labor cost of drivers will be a burden, and the number of areas where public transportation cannot be maintained will increase at an accelerating rate.
(3) It is not possible to support the rapidly aging era without new means of transportation that are closely related to daily life. Especially for the social issues of (3), we will conduct empirical studies on the aging community. We are proceeding with specific activities.
その実証検討の中で、無人自動走行移動サービスの具体的課題の一つとして、上記のような限定地域での交通システムを利用した、子供や一人暮らしの高齢者等の見守り対象者の見守りシステムが重要であるとの認識に至った。特に、車両が自動運転の場合、いかに自動運転技術が進んだとしても、子供や高齢者だけで乗車させるのは不安がある(これは有人運転であっても同様であるが)。また、親や家族等の見守者は、単に車両に見守り対象者が乗降した場所や時刻だけでなく、乗降時の周囲環境、乗降時の様子、乗車中の様子(顔色、周囲との会話)など、車内外の状況、つまり乗車前から下車後の状況までを連続して知りたいと思う。車両に乗る前でも車両を降りてからでも危険は存在するからである。 In the demonstration study, as one of the specific issues of the unmanned autonomous driving service, a monitoring system for children, elderly people living alone, etc. using the transportation system in the limited area as described above was introduced. It came to the recognition that it was important. In particular, when the vehicle is autonomous driving, no matter how advanced the autonomous driving technology is, it is uneasy to let only children and the elderly ride (this is the same even if it is manned driving). In addition, the guardians such as parents and family members are watching not only the place and time when the target person got on and off the vehicle, but also the surrounding environment at the time of getting on and off, the state at the time of getting on and off, the state during boarding (complexion, conversation with the surroundings). I would like to know the situation inside and outside the car, that is, the situation before getting on and after getting off. This is because there is danger before getting in the vehicle or after getting off the vehicle.
しかしながら、上記の特許文献1に記載のシステムは、車両を利用した見守りシステムではあるものの、乗降日時、停車地、乗降者名の通知にとどまり、乗降時の周囲環境や乗車中の状態までを通知するものではない。また、特許文献2に記載のシステムは、車両に搭載されたシステムによって、対象(車内の個人所有物、子供、ペット等)の位置を観測し、対象の周囲環境を監視するものであるが、自動運転の車両までを想定したものではない。また、特許文献3に記載のシステムは、親が所定位置に子供がいることを通知された場合に、子供の特徴を示すランドセル、帽子、及び、ニックネームで識別するだけでは、本当に自分の子供であるか確信が持てず不安を抱くことがあるので、顔画像を用いて子供を確認しようとするものであるが、車両との関係はない。 However, although the system described in Patent Document 1 described above is a monitoring system using a vehicle, it only notifies the date and time of getting on and off, the place of stop, and the name of the person getting on and off, and also notifies the surrounding environment at the time of getting on and off and the state during boarding. It's not something to do. Further, the system described in Patent Document 2 observes the position of a target (personal property in the vehicle, children, pets, etc.) by a system mounted on the vehicle and monitors the surrounding environment of the target. It is not intended for self-driving vehicles. In addition, the system described in Patent Document 3 is really for one's own child only by identifying by a school bag, a hat, and a nickname indicating the characteristics of the child when the parent is notified that the child is in a predetermined position. I am not sure if there is any, and I may feel uneasy, so I try to confirm the child using a face image, but it has nothing to do with the vehicle.
したがって、本発明では、上記のような課題にかんがみ、自動運転車両(人間が同乗しての自動運転を含む)が、被見守り者の乗降場所、乗降時刻だけでなく、乗降前後の周囲環境、乗降時及び乗車中の様子など、車内外の状況までを広く見守ることが可能な見守りシステムを提供することを目的とする。 Therefore, in view of the above problems, in the present invention, the autonomous driving vehicle (including the automatic driving with a human being on board) is not only the boarding / alighting place and the boarding / alighting time of the watched person, but also the surrounding environment before and after boarding / alighting. The purpose is to provide a monitoring system that can widely monitor the inside and outside of the vehicle, such as when getting on and off and while riding.
上記課題を解決するため、本発明は、以下のような解決手段を提供する。 In order to solve the above problems, the present invention provides the following solutions.
(1)車両が送迎時に見守り対象者を見守る見守り送迎システムにおける車両管理サーバであって、前記車両から、前記見守り対象者が乗降する際の、周囲の映像、当該見守り対象者の映像、及び当該見守り対象者の車内の映像を、前記車両に搭載した車載カメラで撮像した映像を受信する車両映像受信手段と、前記受信した映像を記録する記録手段と、前記記録手段から、前記見守り対象者の見守り者に通知する情報を設定された条件に従って抽出する通知情報抽出手段と、前記抽出した通知情報を、前記見守り者の端末に送信する見守り者端末送信手段と、を備えることを特徴とする。 (1) A vehicle management server in a watching transfer system in which a vehicle watches over a person to be watched at the time of pick-up, and an image of the surroundings when the person to be watched gets on and off from the vehicle, an image of the person to be watched, and the said A vehicle image receiving means for receiving an image captured by an in-vehicle camera mounted on the vehicle, a recording means for recording the received image, and the recording means for the person to be watched. It is characterized by including a notification information extracting means for extracting information to be notified to a watcher according to a set condition, and a watcher terminal transmitting means for transmitting the extracted notification information to the watcher's terminal.
(2)上記(1)の構成において、前記車両は、無人自動運転車又は人間が同乗した半自動運転車であることを特徴とする。 (2) In the configuration of (1) above, the vehicle is characterized by being an unmanned autonomous driving vehicle or a semi-autonomous driving vehicle with a human being on board.
(3)上記(1)又は(2)の構成において、前記車載カメラが乗客の顔を撮像した顔画像を前記車両から受信し、顔画像認証を行う顔画像認証手段を備えることを特徴とする。 (3) In the configuration of (1) or (2) above, the vehicle-mounted camera is provided with a face image authentication means that receives a face image of a passenger's face from the vehicle and performs face image authentication. ..
(4)上記(1)から(3)までのいずれかの構成において、前記見守り者からのメッセージを受信する見守り者メッセージ受信手段と、前記メッセージを前記見守り対象者が乗車中又は乗車する予定の車両の車載端末に送信する車載端末送信手段を備えることを特徴とする。 (4) In any of the configurations (1) to (3) above, the watcher message receiving means for receiving the message from the watcher and the watching target person are on board or are scheduled to board the message. It is characterized by including an in-vehicle terminal transmitting means for transmitting to the in-vehicle terminal of the vehicle.
(5)車両が送迎時に見守り対象者を見守る見守り送迎システムにおける車載端末であって、前記車両に前記見守り対象者が乗降する際の、周囲の映像、当該見守り対象者の映像、及び当該見守り対象者の車内の映像を、前記車両に搭載した車載カメラで撮像した映像を記録する記録手段と、前記記録手段から、前記見守り対象者の見守り者に通知する情報を設定された条件に従って抽出する通知情報抽出手段と、前記抽出した通知情報を、前記見守り者の端末に送信する見守り者端末送信手段と、を備えることを特徴とする。 (5) An in-vehicle terminal in a watching transfer system in which a vehicle watches over a person to be watched during transportation, and an image of the surroundings, an image of the person to be watched, and a target to be watched when the person to be watched gets on and off the vehicle. Notification of extracting information to be notified to the watcher of the watch target person from the recording means and a recording means for recording the video captured by the in-vehicle camera mounted on the vehicle according to the set conditions. The information extraction means and the watcher terminal transmission means for transmitting the extracted notification information to the watcher's terminal are provided.
(6)上記(5)の構成において、前記車両に乗車中の乗客との会話を行う車載コミュニケーション装置を備えることを特徴とする。 (6) In the configuration of (5) above, the vehicle-mounted communication device for having a conversation with a passenger in the vehicle is provided.
(7)上記(5)又は(6)の構成において、前記車両の乗客の顔を撮像し、顔画像の認証を行う顔画像認証手段と、前記顔画像が未登録である場合に、前記乗客のユーザ登録を行うユーザ登録手段と、を備えることを特徴とする。 (7) In the configuration of (5) or (6) above, a face image authentication means that images the face of a passenger in the vehicle and authenticates the face image, and the passenger when the face image is not registered. It is characterized in that it includes a user registration means for performing user registration.
(8)車両が送迎時に見守り対象者を見守る見守り方法であって、前記車両に前記見守り対象者が乗降する際の、周囲の映像、当該見守り対象者の映像、及び当該見守り対象者の車内の映像を、前記車両に搭載した車載カメラで撮像した映像を記録する段階と、前記記録された映像から、前記見守り対象者の見守り者に通知する情報を設定された条件に従って抽出する段階と、前記抽出した通知情報を、前記見守り者の端末に送信する段階と、を含むことを特徴とする。 (8) This is a method of watching over the person to be watched when the vehicle is picked up, and when the person to be watched gets on and off the vehicle, the surrounding image, the image of the person to be watched, and the inside of the vehicle of the person to be watched. The stage of recording the image captured by the in-vehicle camera mounted on the vehicle, the stage of extracting the information to be notified to the observer of the person to be watched from the recorded image according to the set conditions, and the above. It is characterized by including a step of transmitting the extracted notification information to the terminal of the watcher.
(9)上記(8)に記載の見守り方法の各段階をコンピュータに実行させることを特徴とするプログラム。 (9) A program characterized in that a computer executes each step of the monitoring method described in (8) above.
本発明によれば、自動運転車両(人間が同乗しての自動運転を含む)が、被見守り者の乗降場所、乗降時刻だけでなく、乗降前後の周囲環境、乗降時及び乗車中の様子など、車内外の状況までを広く見守ることが可能な見守りシステムを提供することができる。 According to the present invention, an autonomous driving vehicle (including automatic driving with a human being on board) has not only the boarding / alighting place and boarding / alighting time of the watched person, but also the surrounding environment before and after boarding / alighting, and the state during boarding / alighting. , It is possible to provide a monitoring system that can widely monitor the situation inside and outside the vehicle.
以下、添付図面を参照して、本発明を実施するための形態(以下、実施形態)について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。また、機能構成の図において、機能ブロック間の矢印は、データの流れ方向、又は処理の流れ方向を表す。 Hereinafter, embodiments for carrying out the present invention (hereinafter, embodiments) will be described in detail with reference to the accompanying drawings. In the following figures, the same elements are numbered or coded throughout the description of the embodiments. Further, in the functional configuration diagram, the arrows between the functional blocks indicate the data flow direction or the processing flow direction.
(見守り送迎サービスのイメージ)
図1は、本発明の実施形態に係る見守り送迎サービスのイメージを示す図である。見守り送迎サービス(以下、本サービス)は、地域密着型の交通システムの自動運転車又は半自動運転車(人間が同乗しての自動運転)を用いた送迎サービスにおいて、単なる送迎だけでなく、子供や高齢者等の見守り対象者(被見守り者)の車内外の状態を見守り、必要な場合には、見守り者に通知することを兼ね備えたサービスである。また、逆に、見守り者側から車両へメッセージを送信し、被見守り者が車両に乗降する際などに、被見守り者に対してそのメッセージを伝えるサービスも行う。
(Image of watching and pick-up service)
FIG. 1 is a diagram showing an image of a watching and pick-up service according to an embodiment of the present invention. The watching and pick-up service (hereinafter referred to as this service) is a pick-up service that uses an autonomous vehicle or a semi-autonomous vehicle (automatic driving with a human being) of a community-based transportation system. It is a service that monitors the inside and outside of the vehicle of the person to be watched (watcher) such as the elderly, and notifies the watcher if necessary. On the contrary, the service also provides a service in which the watcher sends a message to the vehicle and conveys the message to the watcher when the watcher gets on and off the vehicle.
図示するように、車両10、及び見守り対象者(この例では、子供A,B,C,高齢者D)の見守り者(X,Y)が所持する端末である見守り者端末20(20a,20b)は、無線通信ネットークで車両管理サーバ100に接続されている。子供Aは、車両10に既に乗車中であり、子供B,Cはまさにこれから乗車しようとしているところである。また、高齢者Dは、乗車するために車両10に向かっている途中である。
As shown in the figure, the watcher terminal 20 (20a, 20b) which is a terminal possessed by the watcher (X, Y) of the
車両10は、自動運転のための複数の車載カメラ12及び各種センサを備えており、車内外の映像(音声を含む)を撮像することができる。本サービスでは、これらの車載カメラ12等を利用して、子供や高齢者等の、乗降前後、乗降時、乗車中の映像を撮像して記録しておき、必要なときに見守り者に送信することができる。乗降前後の映像は、車両ボディに装着されたカメラ、防犯カメラ等の外部カメラ30、又は他の車両10′から撮像した映像である。外部カメラ30及び他の車両10′は、近距離無線通信によって、自らが撮った映像を近接する車両10に送信することができる。また、車両10に乗客が乗車中の映像は、車内の複数の車載カメラ12によって撮像される。車載カメラ12の映像は一定時間ごと又は所定の操作時に、車両管理サーバ100に送信され記録される。記録された映像は、見守り者端末20から閲覧することができる。
The
車両管理サーバ100は、車両10から送信され記憶した映像をあらかじめ見守り者が設定した条件に従って、見守り者端末20に送信する。例えば、設定条件としては、自分が見守っている見守り対象者が映っている映像に限定し、さらに、特定の場所(例えば、学校、塾、病院、老人センターなど)や時間帯を指定してもよい。ただし、個人のプライバシーの観点から、撮像した映像は、見守り者が実際に見守っている見守り対象者以外の人物の画像は、ボカシを入れたり、閲覧できないようにしたりしてもよい。
The
図2は、本サービスで使用する車両10の構成を示す図である。車両10には、複数の車載カメラが備えられ、この車載カメラには、車両10のボディの前後左右等に装着され、主に車外の対象物を撮像する車外用カメラ(図の例では、■で表す12a,12b,12c,12d)、と、車内に設置される車内用カメラ(図の例では、●で表す12e、12f、12g)がある。車外用カメラは、走行時及び停車時に周囲の物体や人間を撮像し記録する。車外用カメラは、車外の物体や人間を検知するセンサとしても機能する。また、車内用カメラは、車内の乗客の様子や車内から見た周囲の状況を撮像し記録する。また、車両のボディの4隅のコーナー等には、赤外線センサや超音波センサなどを備える(図示せず)。
FIG. 2 is a diagram showing a configuration of a
また、車両10には、車載端末11が搭載される。車載端末11は、車両10の車載カメラ12を制御し、また、各種情報を集積し、外部との通信を制御する制御装置である。車載端末11は、カーナビゲーションシステムに組み込まれていてもよい。
Further, the
また、車両10には、車載コミュニケーション装置13を備えていてもよい。車載コミュニケーション装置13は、乗客間の会話、車両と乗客との会話、乗客が被見守り対象者である場合は乗客と見守り者との遠隔での会話など、車内におけるコミュニケーションを制御する装置である。また、車載コミュニケーション装置13には、スピーカ(後述の指向性スピーカ136及び一般スピーカ137)が備えられ、乗客全員への発話と、特定の個人向けの発話とを区別して制御する。車載端末11、車載コミュニケーション装置13について詳しくは後述する。
Further, the
(見守り送迎システムの機能構成)
図3は、本発明の第1の実施形態に係る見守り送迎システム(以下、本システム)における車両10及び車両管理サーバ100の機能構成を示す図である。
(Functional configuration of the watching and pick-up system)
FIG. 3 is a diagram showing the functional configurations of the
本システムは、主として、地域密着型の交通システムを構成する複数の車両10と、複数の見守り者端末20と、車両管理サーバ100とがネットワーク40を介して無線通信で接続されている。
In this system, a plurality of
(車両)
車両10は、前述した車載端末11、複数の車載カメラ12、車載コミュニケーション装置13に加え、後述のユーザID取得手段14と、近距離無線通信手段15と、見守り状況表示手段16とを備えている。
(vehicle)
In addition to the above-mentioned in-
車載端末11は、前述したように、車両の様々な情報を管理し制御する制御装置であり、車両管理サーバ100(以下、単にサーバ)と通信可能で、車内外で撮像した映像を含む各種の情報をサーバに送信する。また、サーバから各種情報を受信する。
As described above, the in-
車載カメラ12は、図2で説明したように、車両10に搭載されたカメラの総称であって、車両10のボディの前後左右、運転席の天井、後部座席の天井等に装着される。
As described with reference to FIG. 2, the in-
車載コミュニケーション装置13(図2では車内後部座席の後ろの位置に設置されている)は、図2で説明したように、車両10の乗客と車両がコミュニケーションすることを可能にするための装置である。車載コミュニケーション装置13は、乗客を検知すると、その乗客に向かって発話したり、乗客からの音声に反応して、返答したりして会話することが可能な人工知能を備えている。また、詳細は後述するが、複数の乗客に対しては、それぞれの位置を検知し、それぞれの乗客に向けて指向性スピーカ136で発話し、その発話に対して、乗客が応答した言葉に反応し、乗客と個別に会話することができる。もちろん、非指向性の一般スピーカ137で乗客全員に向かって発話することも可能である。
The in-vehicle communication device 13 (installed at a position behind the rear seat in the vehicle in FIG. 2) is a device that enables the passengers of the
ユーザID取得手段14(ユーザ識別手段)は、本システムに登録された乗客のユーザIDを取得する手段であり、例えば、会員カード若しくは交通系ICカード、又はユーザ端末(図示せず)を乗車時に読み取って、ユーザIDを取得する読取機である。この読取機は、乗車口に設置されていてもよいし、バスなどの大型車両では各座席に設置されていてもよい。もちろん、降車時には、そのユーザIDの課金先から乗車料金を自動的に支払うようにする。本システムの車両10には、未登録のユーザであっても乗車できるが、その際には、車載カメラ12を使って乗客の顔画像を撮像し、撮像した顔画像が未登録であれば、その場でユーザ登録をすることもできる。この顔画像を使ったユーザ登録については詳しくは後述する。
The user ID acquisition means 14 (user identification means) is a means for acquiring the user ID of a passenger registered in this system, and is, for example, a membership card, a transportation IC card, or a user terminal (not shown) at the time of boarding. It is a reader that reads and acquires a user ID. This reader may be installed at the entrance, or may be installed at each seat in a large vehicle such as a bus. Of course, when getting off, the boarding fee is automatically paid from the billing destination of the user ID. Even an unregistered user can get on the
近距離無線通信手段15は、近接する外部カメラ30及び他の車両10'と通信して、それらが撮った映像を受信し、あたかも車両10が撮った映像のようにしてサーバに送信することができる。すなわち、外部カメラ30や他の車両10’の車載カメラも、車載カメラ12の一部と考えてもよい。
The short-range wireless communication means 15 can communicate with the nearby
見守り状況表示手段16は、現在だれを見守っているかを車外から認識できるように表示する。車外の人が車両の見守り状況を把握できることでより安全な見守りシステムを提供することができる。個別の見守りではなく、例えば小学校から児童が一斉に帰宅するようなときに「児童見守り中」などと車外の表示部に表示することによって、傍で見ている保護者等が安心することができる。 The watching status display means 16 displays who is currently watching so that it can be recognized from outside the vehicle. A safer watching system can be provided by allowing a person outside the vehicle to grasp the watching status of the vehicle. Instead of watching individually, for example, when children are returning home from elementary school all at once, by displaying "Child watching" on the display outside the car, parents and others watching by their side can feel at ease. ..
(車両管理サーバ)
車両管理サーバ100は、車両映像受信手段101、顔画像認証手段102、ユーザ登録手段103、見守り者メッセージ受信手段104、車載端末送信手段105、通知情報抽出手段106、見守り者端末送信手段107、車両映像記録DB110、ユーザ登録DB120を備えている。
(Vehicle management server)
The
車両映像受信手段101は、車両10から車載カメラ12で撮像した様々な車両映像を定期的に受信し、車両映像の記録手段である車両映像記録DB110に一定期間記録する。ここで記録される車両映像には、映像(音声を含む)とその映像の付加情報(映像の記録開始終了時刻、記録時間、そのときの乗客情報等)を含む。なお、車両映像記録DB110に記録されたデータは一定期間経過後は消去される。
The vehicle image receiving means 101 periodically receives various vehicle images captured by the vehicle-mounted
顔画像認証手段102は、車載カメラ12が乗客の顔を撮像し、その顔画像を車両10から受信し、乗客の顔画像の認証を行う。顔画像がユーザ登録DB120に登録されていなければ、車載端末11にその旨を通知し、車載端末11が車載コミュニケーション装置13を使って、その乗客に声をかけ、新規にユーザ登録するか否かを尋ねる。乗客が新規登録を希望すれば、ユーザ登録手段103は、登録のための必要なデータを車両10に送信し、ユーザ登録DB120に登録する。この登録はすべて音声でも行うことができる。乗客が子供や高齢者等の見守り対象者の場合は、親や家族等の見守り者の連絡先を尋ね、その連絡先に通知し、見守り者の確認を求める。新規ユーザ登録は乗車中に行ってもよいし下車後に行ってもよい。このようにすることで、見守り対象者である可能性が高く、かつユーザ端末を持たない子供や高齢者であっても、車内でユーザ登録をすることができる。
In the face image authentication means 102, the vehicle-mounted
また、顔画像認証手段102は、顔画像を含む予約情報の登録を受付け、場合によっては、この登録が無い場合は乗車を拒否するような設定を設けてもよい。このようにすることで、子供専用の車に怪しい少年や大人を乗車させないようにすることが可能となる。 Further, the face image authentication means 102 may be set to accept registration of reservation information including a face image, and in some cases, to refuse boarding if this registration is not performed. By doing so, it is possible to prevent suspicious boys and adults from riding in children's cars.
見守り者メッセージ受信手段104は、見守り者からのメッセージを受信し、車載端末送信手段105に対して、そのメッセージを車載端末11に送信するように指示する。送信先の見守り対象者がまだ乗車していない場合は、車載端末11は、そのメッセージを所定時間保存する。なお、見守り対象者が既に下車している場合は、その旨を見守り者端末20に送信する。
The watcher message receiving means 104 receives the message from the watcher and instructs the vehicle-mounted terminal transmitting means 105 to transmit the message to the vehicle-mounted
車載端末送信手段105は、見守り者端末20からのメッセージを車載端末11に送信する他、サーバ側からの情報を必要に応じて車載端末11に送信する。
The in-vehicle terminal transmitting means 105 transmits a message from the
通知情報抽出手段106は、車両映像記録DB110に記録された情報から、あらかじめ設定された通知条件に従って、見守り者に通知すべき通知情報を抽出し、かつユーザ登録DB120から見守り者の通知先を抽出し、その通知情報を、見守り者端末送信手段107に指示し、見守り者端末20に送信させる。通知条件には、例えば、通知間隔、映像の要否、映像が要の場合は、そのタイミングと必要な映像(例えば、乗降時の前後1分間のみの映像が必要で、車内の映像は不要など)などが含まれる。また、通知情報抽出手段106は、プライバシー保護が必要であれば、抽出した映像に対して、見守り対象者以外の人物の顔にボカシ等を入れる加工処理も行う。映像が不要な場合は、乗車場所、乗車時刻、下車場所、下車時刻を含むテキスト情報だけが通知される。ただし、事故やその他の異状を車両10が検出した場合は、通知条件にかかわらず映像が通知されるようにしてもよい。なお、通知情報には、被見守り者のID、見守り者のID、見守り者のメールアドレス又は電話番号、被見守り者の乗車時刻、下車時刻、乗車中の前後を含む車内外の映像や会話の記録が含まれる。
The notification
(車載コミュニケーション装置)
図4は、車載コミュニケーション装置13の機能構成を示す図である。車載コミュニケーション装置13は、車両と乗客とのコミュニケーションを主として音声で行うための装置である。そのための会話手段、スピーカ(イヤホンを含む)、マイク等を備えている。画像でのコミュニケーションのための表示装置を備えていてもよい。聴覚が不自由な人のために骨伝導イヤホンを備えていてもよい。
(In-vehicle communication device)
FIG. 4 is a diagram showing a functional configuration of the in-
車載コミュニケーション装置13は、図4で示すように、検知手段131と、コミュニケーション内容決定手段132と、個人的情報発信手段133と、一般情報発信手段114と、コミュニケーション内容解析手段135と、指向性スピーカ136と、一般スピーカ137と、指向性マイクロフォン138と、コミュニケーション内容DB130とを備える。なお、車載コミュニケーション装置13は、乗客が所持するユーザ端末と交信することで乗客とのコミュニケーションをとってもよい。
As shown in FIG. 4, the in-
検知手段131は、車両に乗車した人間を検知する手段と、検知した情報に基づき、乗客の位置を判定する判定手段と、により乗客の位置を検知する。このとき、検知手段131は、車載カメラ12で撮像した画像から、乗客の位置を検知するようにしてもよい。なお、ユーザID取得手段14が車両の各座席に対応付けて接続されたID読取機である場合には、ユーザIDを読み取ったID読取機が対応付けられた座席を乗客の位置と見なしてもよい。
The detection means 131 detects the position of a passenger by means for detecting a person who has boarded the vehicle and a determination means for determining the position of the passenger based on the detected information. At this time, the detection means 131 may detect the position of the passenger from the image captured by the in-
コミュニケーション内容決定手段132は、車内での会話を記録し、コミュニケーション内容DB130を参照して、乗客に発信するコミュニケーションの内容の情報を決定する。また、コミュニケーション内容決定手段132は、見守り者端末20から被見守り者へのメッセージを受信して記憶しておき、当該被見守り者が乗車した際に、そのメッセージを通知するようにしてもよい。
The communication content determining means 132 records the conversation in the vehicle, refers to the
また、コミュニケーション内容決定手段132は、乗降時や乗降場所が通常と異なる場合(例えば、毎週月曜日はスイミングスクールが17:00終了するので17:30に乗車する人が、通常と異なる時間に乗車した場合など)に、あるいは予め乗降日時や乗降場所が予定されているのもかかわらず、予定と異なる時刻や場所で乗降した場合に、通知情報を送信してもよい。 In addition, the communication content determination means 132 is used when the time of getting on and off or the place of getting on and off is different from the usual one (for example, since the swimming school ends at 17:00 every Monday, the person who gets on at 17:30 gets on at a different time than usual. Notification information may be sent when the passenger gets on and off at a time or place different from the schedule, even though the boarding / alighting date / time and the boarding / alighting place are scheduled in advance.
車載コミュニケーション装置13は、車内での個人的な情報を他人に聞かれたくない乗客のために、個人的情報発信手段133を備えていてもよい。個人的情報発信手段133は、検知手段131が検知した方向の乗客にのみ、コミュニケーション内容決定手段132が決定した、個人的な内容を含む言葉である個人的情報を発信する。例えば、見守り者からのメッセージなどは個人的情報に該当することもある。詳細には、個人的情報発信手段133は、所定範囲(検知手段131で検知した方向の乗客のみが含まれる範囲)にのみ音を発音する指向性スピーカ136により、コミュニケーション内容決定手段132が決定した個人的情報が示す言葉を発音する。
The in-
また、個人的情報発信手段133は、複数の乗客がいた場合、乗客ごとの個人的情報を発信することもできる。なお、個人的情報発信手段133は、検知手段131で検知した方向の乗客が所持しているユーザ端末にのみ、個人的情報を発信してもよい。この場合、ユーザ端末は、例えば、ユーザ端末に接続された骨伝導イヤホン等に、個人的情報発信手段133から受信した個人的情報が示す言葉を発音してもよい。このようにすることで、車両に同乗する他の乗客に個人的情報を聞かれることがなくなる。
In addition, the personal information transmitting means 133 can also transmit personal information for each passenger when there are a plurality of passengers. The personal information transmitting means 133 may transmit personal information only to the user terminal possessed by the passenger in the direction detected by the detecting
一般情報発信手段134は、他の乗客に聞かれてもよい会話内容を発信するもので、乗客全員に、コミュニケーション内容決定手段132が決定した、個人的情報以外の言葉である一般情報を発信する。詳細には、一般情報発信手段134は、所定範囲より広い範囲(乗客全員が聞こえる範囲)に音を発音する一般スピーカ137により、コミュニケーション内容決定手段132が決定した一般情報が示す言葉を発音する。なお、一般情報発信手段134は、乗客全員のユーザ端末に、一般情報を発信してもよい。この場合、ユーザ端末は、スピーカ等により、一般情報発信手段134から受信した一般情報が示す言葉を発音してもよい。
The general information transmitting means 134 transmits conversation contents that may be heard by other passengers, and transmits general information, which is a word other than personal information, determined by the communication content determining means 132 to all passengers. .. Specifically, the general information transmitting means 134 pronounces the words indicated by the general information determined by the communication content determining means 132 by the
コミュニケーション内容解析手段135は、個人的情報発信手段133が発信した個人的情報に応じたユーザの音声や、一般情報発信手段134が発信した一般情報に応じたユーザの音声を、指向性マイクロフォン138により集音し、集音したユーザの音声の内容や、音声の有無を解析し、解析した結果に応じてコミュニケーション内容DB130を更新する。
The communication content analysis means 135 uses the
指向性スピーカ136は、所定範囲にのみ音を発音し、車両の座席ごとに設けられており、各座席に座っている乗客のみに聞こえる音を発音する。
The
一般スピーカ137は、指向性スピーカ136が発音する所定範囲より広い範囲に音を発音し、乗客全員が聞くことができる音を発音する。
The
指向性マイクロフォン138は、所定範囲から発生された音を集音し、車両の座席ごとに設けられており、各座席に座っている乗客が発した音声を集音する。
The
上記の本システムの機能構成は、あくまで一例であり、一つの機能ブロック(データベース及び機能処理部)を分割したり、複数の機能ブロックをまとめて一つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置に内蔵されたCPU(Central Processing Unit)が、ROM(Read Only Memory)、フラッシュメモリ、SSD(Solid State Drive)、ハードディスク等の記憶装置に格納されたコンピュータ・プログラムを読み出し、CPUにより実行されたコンピュータ・プログラムによって実現される。すなわち、各機能処理部は、このコンピュータ・プログラムが、記憶装置に格納されたデータベース(DB;Data Base)やメモリ上の記憶領域からテーブル等の必要なデータを読み書きし、場合によっては、関連するハードウェア(例えば、入出力装置、表示装置、通信インターフェース装置)を制御することによって実現される。また、本発明の実施形態におけるデータベース(DB)は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。 The above-mentioned functional configuration of this system is merely an example, and one functional block (database and functional processing unit) may be divided, or a plurality of functional blocks may be collectively configured as one functional block. In each function processing unit, the CPU (Central Processing Unit) built into the device reads computer programs stored in storage devices such as ROM (Read Only Memory), flash memory, SSD (Solid State Drive), and hard disk. , Realized by a computer program executed by the CPU. That is, each function processing unit reads and writes necessary data such as a table from a database (DB; Data Base) stored in a storage device or a storage area in a memory by this computer program, and is related in some cases. It is realized by controlling the hardware (for example, input / output device, display device, communication interface device). Further, the database (DB) in the embodiment of the present invention may be a commercial database, but it also means a mere collection of tables and files, and the internal structure of the database itself does not matter.
(車内でのコミュニケーション内容)
図5は、車載コミュニケーション装置13によって記録された車内での乗客の会話の様子を示した図である。詳細な説明は省略するが、この例では、当初、子供Aだけが乗車中であり、途中で下校中の子供B、子供Cが乗車し、続いて、高齢者Dが乗車して、それぞれの人物が下車するまでの間、車内での会話内容がコミュニケーション内容DB130に記録されている。会話には車両も自動応答で参加している。また、会話には見守り者のメッセージも含まれる。会話内容には、高齢者Dに家族から伝言メッセージが入り、高齢者Dが車内でその伝言メッセージを聞いたり、子供Bに母親からのメッセージが入り、子供B、高齢者Dが会話したり、子供Bが下車する様子などが記録されている。もちろん、会話内容だけでなく、そのときどきの車載カメラ12が撮像した映像も記録されている。したがって、例えば、子供Bの母親は、我が子が、車を降りてから寄り道せず、自宅の玄関までちゃんと到着したことを確認できる。
(Communication content in the car)
FIG. 5 is a diagram showing a state of passenger conversation in the vehicle recorded by the in-
このような車内での会話内容や映像の記録は、見守り者端末20から閲覧することができるので、見守り対象者の乗降場所や乗降時刻だけでなく、乗降前後の周囲環境、乗降時及び乗車中の様子など、車内外の状況まで広く見守ることが可能となる。また、子供や高齢者がスマートフォンや携帯電話などの連絡手段を所持していなくとも、見守り者からのメッセージを車内で聞くこともできる。もちろん、その場でメッセージに応答することもできる。メッセージは、車両側に記録されているので、見守り者及び見守り対象者とも、いつでもその内容を確認することができる。すなわち、車両が見守り者と見守り対象者との間の連絡手段となる。
Since such conversation contents and video records in the vehicle can be viewed from the
(見守り者への通知画面)
図6は、見守り者への通知画面例を示す図である。既に述べたように、車両は、見守り対象者の乗車前、乗車途中、乗車中、下車途中、下車後の一連の状況を映像で記録することができる。例えば、図6(a)は、子供Bが乗車するときの様子、図6(b)は、子供A,B,Cの乗車中の様子、図6(c)は、子供Bが下車し、確かに自宅玄関まで戻った様子が表示されている。見守り者は、画面下部のサムネイル画像201〜203から、閲覧したいシーンを選んで、動画や静止画で子供の様子を確認することができる。また、子供が乗車中の車両又は乗車する予定の車両が分かっていれば、メッセージをこの画面から車両に送信することもできる。さらに、他の乗客がいないときなどメッセージを車内で再生するタイミング、また、他の乗客に聞かれたくない内容を含んでいることなどを指定してもよい。
(Notification screen for watchers)
FIG. 6 is a diagram showing an example of a notification screen for the watcher. As already described, the vehicle can record a series of situations before, during, during, during, and after the disembarkation of the person to be watched. For example, FIG. 6 (a) shows a state when child B is on board, FIG. 6 (b) is a state while children A, B, and C are on board, and FIG. 6 (c) is a state in which child B gets off. It is certainly displayed that he has returned to his home entrance. The watcher can select the scene to be viewed from the thumbnail images 2001 to 203 at the bottom of the screen and check the state of the child with a moving image or a still image. A message can also be sent to the vehicle from this screen if the child knows which vehicle he or she is riding or will be riding. Further, it is possible to specify the timing of playing the message in the vehicle, such as when there are no other passengers, and the content that the other passengers do not want to hear.
(ユーザ登録画面)
図7は、乗客が顔画像認証で新規にユーザ登録する際の画面例を示した図である。車両には車載カメラ12が搭載されているので、それらのカメラを利用して、乗客の顔画像を撮像し、その画像をサーバに送り、車内でユーザ登録することが可能である。顔画像は複数の車載カメラ12で撮ったものを使ってもよい。そうすれば顔認証の精度が上がる。
(User registration screen)
FIG. 7 is a diagram showing an example of a screen when a passenger newly registers a user by face image authentication. Since the vehicle is equipped with an in-
サーバは、車両から送られてきた顔画像がユーザ登録DB120登録されているか否かを判断し、登録されていなければ、ユーザ登録を勧める。
The server determines whether or not the face image sent from the vehicle is registered in the
図7の画面は、このときのユーザ登録の様子を対話形式の画面で示したものである。乗客がユーザ端末を所持していれば、その画面に表示してもよいし、ユーザ端末を所持していなければ、車載端末11の表示装置に表示してもよい。ここで、乗客からの入力はすべて音声で行うことができ、発話は普通の話し言葉であってもよい。
The screen of FIG. 7 shows the state of user registration at this time on an interactive screen. If the passenger has a user terminal, it may be displayed on the screen, and if the passenger does not have the user terminal, it may be displayed on the display device of the in-
ユーザ登録には、見守り対象者の住所氏名、生年月日、家族などの見守り者の住所氏名、生年月日、電話番号、メールアドレス等の情報が必要であるが、特に見守り対象となるような高齢者は、端末の操作が苦手又は全くできない人が多いので、この例のように、家族等の見守り者の名前と電話番号さえ聞き出すことができれば、サーバからその見守り者に連絡し、顔画像を送信し、確かに本人であることを確認できれば、見守り者のほうで必要な情報を入力してもらってもよい。 User registration requires information such as the address and name of the person to be watched over, the date of birth, the address and name of the watcher such as a family member, the date of birth, a telephone number, an email address, etc. Many elderly people are not good at operating terminals or cannot operate the terminal at all, so if you can find out the name and phone number of a watcher such as a family member, the server will contact the watcher and give you a face image. If you can confirm that you are who you say you are, you may ask the watcher to enter the necessary information.
また、このとき、車内に他の乗客が乗っている場合は、そのことを検知し、車載コミュニケーション装置13がそのことを検知し、プライバシーを守るため、イヤホン若しくは指向性スピーカ136、指向性マイクロフォン138などを使って、登録時の個人情報を他人に聞かれないようにもできる。
At this time, if another passenger is in the vehicle, it is detected, and the in-
(第2の実施形態)
図8は、本発明の第2の実施形態に係る見守り送迎システムの機能構成を示す図である。第1の実施形態では、主な機能をサーバ側に設けたが、第2の実施形態では、主な機能を車両側に設ける。具体的には、第2の実施形態の車載端末11Aには、顔画像認証手段102、車両映像記録DB110、通知情報抽出手段106、見守り者端末送信手段107、制御部108を備える。車載コミュニケーション装置13、ユーザID取得手段14、及び近距離無線通信手段15は、車載端末11Aに含まれると考えてもよい。上記の各手段の機能は、図3の機能ブロックと同様なので説明は省略する。
(Second Embodiment)
FIG. 8 is a diagram showing a functional configuration of a watching transfer system according to a second embodiment of the present invention. In the first embodiment, the main functions are provided on the server side, but in the second embodiment, the main functions are provided on the vehicle side. Specifically, the in-
また、第2の実施形態の車両管理サーバ100Aには、車載端末11Aからの顔認証依頼を受けて、ユーザを登録するユーザ登録手段103及びユーザ登録DB120が残る。また、車両管理サーバ100Aには、見守り者からのメッセージを受信する見守り者メッセージ受信手段104、及び受信した見守り者からのメッセージを、被見守り者及び見守り者のIDや氏名等を確認後、車載端末11Aに送信する車載端末送信手段105も残る。
Further, in the
このように、第2の実施形態では、主な機能を車両側に備えるため、サーバ側の負荷が第1の実施形態に比べ、大幅に軽減される。 As described above, in the second embodiment, since the main functions are provided on the vehicle side, the load on the server side is significantly reduced as compared with the first embodiment.
(実施形態の効果)
本システムによれば、地域密着型交通の車両を利用して、被見守り者の乗降場所、乗降時刻だけでなく、乗降前後の周囲環境、乗降時及び乗車中の様子など、車内外の状況までを広く見守ることが可能な見守りシステムを提供することができる。また、車両は、自動運転車(人間が同乗した半自動運転を含む)であってもよい。また、車載カメラを利用して顔認証が可能なので、乗車時に乗客の識別が可能な他、新規のユーザ登録も車内でできる。このとき、他の人間が乗車しているときは登録時の個人情報を聞かれないように制御できる。また、見守り者からの被見守り者に対するメッセージを車両が受信することができるので、乗客がスマートフォンなどのユーザ端末を所持していなくとも、車内でメッセージを聞いたり、その返信を音声で送信したりすることができる。また、車両にコミュニケーション装置を備えるので、乗降時や乗車中の会話や映像を見守り者の端末に通知することができる。
(Effect of embodiment)
According to this system, using a community-based transportation vehicle, not only the boarding / alighting place and boarding / alighting time of the watched person, but also the surrounding environment before and after boarding / alighting, the situation during boarding / alighting, and the situation inside and outside the car. It is possible to provide a monitoring system that can widely monitor. Further, the vehicle may be an autonomous driving vehicle (including semi-automatic driving with a human being on board). In addition, since face recognition can be performed using an in-vehicle camera, passengers can be identified at the time of boarding, and new user registration can be performed in the car. At this time, when another person is on board, it is possible to control so that the personal information at the time of registration is not heard. In addition, since the vehicle can receive a message from the watcher to the watcher, even if the passenger does not have a user terminal such as a smartphone, he / she can listen to the message in the car and send the reply by voice. can do. In addition, since the vehicle is equipped with a communication device, it is possible to notify the terminal of the watcher at the time of getting on and off or during the conversation or video.
なお、上記の実施形態では、車両が無人自動運転車又は半自動運転車であることを想定して説明したが、本システムは自動運転でない車両であっても適用が可能である。その場合でも、車載端末が車載カメラ等の制御、車外との通信、乗客とのコミュニケーションをすべて制御するので、見守り対象者に対する負担を運転者にほとんどかけない。 In the above embodiment, the vehicle is assumed to be an unmanned autonomous vehicle or a semi-autonomous vehicle, but this system can be applied to a vehicle that is not automatically driven. Even in that case, since the in-vehicle terminal controls all the control of the in-vehicle camera and the like, the communication with the outside of the vehicle, and the communication with the passengers, the driver is hardly burdened with the person to be watched over.
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲に限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, it goes without saying that the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments. Further, it is clear from the description of the scope of claims that the form to which such a modification or improvement is added may be included in the technical scope of the present invention.
なお、上記の実施形態では、本発明を物の発明として、見守り送迎システムにおける見守り車両管理サーバ、車載端末について主に説明したが、本発明は、方法の発明(見守り方法)又は見守り方法のそれぞれの段階をコンピュータに実行させるプログラムの発明としても捉えることもできる。 In the above embodiment, the present invention has been mainly described as a monitoring vehicle management server and an in-vehicle terminal in a monitoring transfer system, but the present invention is an invention of a method (watching method) or a monitoring method, respectively. It can also be regarded as the invention of a program that causes a computer to execute this step.
A,B,C,D 見守り対象者(被見守り者)
X,Y 見守り者
10 車両
10′ 他の車両
11 車載端末(第1の実施形態)
11A 車載端末(第2の実施形態)
12 車載カメラ
12a,12b,12c,12d 車外用カメラ
12e,12f,12g 車内用カメラ
13 車載コミュニケーション装置
14 ユーザID取得手段(ユーザ識別手段)
15 近距離無線通信手段
16 見守り住協表示手段
20(20a,20b) 見守り者端末
30 外部カメラ
40 ネットワーク
100 車両管理サーバ(第1の実施形態)
100A 車両管理サーバ(第2の実施形態)
101 車両映像受信手段
102 顔画像認証手段
103 ユーザ登録手段
104 見守り者メッセージ受信手段
105 車載端末送信手段
106 通知情報抽出手段
107 見守り者端末送信手段
108 制御部
110 車両映像記録DB
120 ユーザ登録DB
130 コミュニケーション内容DB
131 検知手段
132 コミュンケーション内容決定手段
133 個人的情報発信手段
134 一般情報発信手段
135 コミュニケーション内容解析手段
136 指向性スピーカ
137 一般スピーカ
138 指向性マイクロフォン
201,202,203 サムネイル画像
A, B, C, D Watchers (watchers)
X,
11A in-vehicle terminal (second embodiment)
12 In-
15 Short-range wireless communication means 16 Watching Sumikyo display means 20 (20a, 20b) Watching
100A vehicle management server (second embodiment)
101 Vehicle image receiving means 102 Face image authentication means 103 User registration means 104 Watcher message receiving means 105 In-vehicle terminal transmitting means 106 Notification information extracting means 107 Watching person terminal transmitting means 108
120 User registration DB
130 Communication content DB
131 Detection means 132 Communication content determination means 133 Personal information transmission means 134 General information transmission means 135 Communication content analysis means 136
Claims (9)
前記車両から、前記見守り対象者が乗降する際の、周囲の映像、当該見守り対象者の映像、及び当該見守り対象者の車内の映像を、前記車両に搭載した車載カメラで撮像した映像を受信する車両映像受信手段と、
前記受信した映像を記録する記録手段と、
前記記録手段に記録された映像から、前記見守り対象者の見守り者に通知する映像及び当該映像に付随する情報を設定された条件に従って抽出する通知情報抽出手段と、
前記抽出した通知情報を、前記見守り者の端末に送信する見守り者端末送信手段と、
前記見守り者からのメッセージを受信する見守り者メッセージ受信手段と、
前記メッセージを前記見守り対象者が乗車中又は乗車する予定の車両の車載端末に送信する車載端末送信手段と、
を備えることを特徴とする車両管理サーバ。 It is a vehicle management server in the watching and picking system where the vehicle watches over the target person at the time of picking up.
From the vehicle, an image of the surroundings, an image of the person being watched, and an image of the inside of the vehicle of the person being watched when the person being watched gets on and off is received by an in-vehicle camera mounted on the vehicle. Vehicle image receiving means and
A recording means for recording the received video and
A notification information extraction means for extracting from the video recorded in the recording means the video to be notified to the watcher of the watching target and the information accompanying the video according to the set conditions.
A watcher terminal transmitting means for transmitting the extracted notification information to the watcher's terminal,
A watcher message receiving means for receiving a message from the watcher,
An in-vehicle terminal transmitting means for transmitting the message to the in-vehicle terminal of the vehicle on which the watching target person is riding or is planning to board.
A vehicle management server characterized by being equipped with.
前記車両に前記見守り対象者が乗降する際の、周囲の映像、当該見守り対象者の映像、及び当該見守り対象者の車内の映像を、前記車両に搭載した車載カメラで撮像した映像を記録する記録手段と、
前記記録手段に記録された映像から、前記見守り対象者の見守り者に通知する映像及び当該映像に付随する情報を設定された条件に従って抽出する通知情報抽出手段と、
前記抽出した通知情報を、前記見守り者の端末に送信する見守り者端末送信手段と、
前記見守り者からのメッセージを受信する見守り者メッセージ受信手段と、
を備えることを特徴とする車載端末。 It is an in-vehicle terminal in the watching transfer system where the vehicle watches over the target person at the time of transportation.
A record of recording an image of the surroundings, an image of the person being watched, and an image of the inside of the person being watched when the person being watched gets on and off the vehicle, captured by an in-vehicle camera mounted on the vehicle. Means and
A notification information extraction means for extracting from the video recorded in the recording means the video to be notified to the watcher of the watching target and the information accompanying the video according to the set conditions.
A watcher terminal transmitting means for transmitting the extracted notification information to the watcher's terminal,
A watcher message receiving means for receiving a message from the watcher,
An in-vehicle terminal characterized by being equipped with.
前記顔画像が未登録である場合に、前記乗客のユーザ登録を行うユーザ登録手段と、
を備えることを特徴とする請求項5又は6に記載の車載端末。 A face image authentication means that captures the face of a passenger in the vehicle and authenticates the face image.
A user registration means for registering a passenger as a user when the face image is not registered, and
The in-vehicle terminal according to claim 5 or 6, wherein the in-vehicle terminal is provided.
前記車両に前記見守り対象者が乗降する際の、周囲の映像、当該見守り対象者の映像、
及び当該見守り対象者の車内の映像を、前記車両に搭載した車載カメラで撮像した映像を記録する段階と、
前記記録された映像から、前記見守り対象者の見守り者に通知する情報を設定された条件に従って抽出する段階と、
前記抽出した通知情報を、前記見守り者の端末に送信する段階と、
前記見守り者からのメッセージを受信する段階と、
前記メッセージを前記見守り対象者が乗車中又は乗車する予定の車両の車載端末に送信する段階と、
をコンピュータが実行することを特徴とする見守り方法。 It is a watching method that watches over the target person when the vehicle is picked up.
An image of the surroundings when the person to be watched gets on and off the vehicle, an image of the person to be watched,
And the stage of recording the image of the inside of the vehicle of the person to be watched by the in-vehicle camera mounted on the vehicle.
From the recorded video, the stage of extracting the information to be notified to the watcher of the watch target person according to the set conditions, and
At the stage of transmitting the extracted notification information to the watcher's terminal, and
At the stage of receiving the message from the watcher,
The stage of transmitting the message to the in-vehicle terminal of the vehicle being or will be boarded by the watching target person, and
A watching method characterized by a computer performing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017068590A JP6862629B2 (en) | 2017-03-30 | 2017-03-30 | Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017068590A JP6862629B2 (en) | 2017-03-30 | 2017-03-30 | Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018169942A JP2018169942A (en) | 2018-11-01 |
JP6862629B2 true JP6862629B2 (en) | 2021-04-21 |
Family
ID=64019395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017068590A Active JP6862629B2 (en) | 2017-03-30 | 2017-03-30 | Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6862629B2 (en) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10713948B1 (en) * | 2019-01-31 | 2020-07-14 | StradVision, Inc. | Method and device for alerting abnormal driver situation detected by using humans' status recognition via V2V connection |
JP7200715B2 (en) * | 2019-02-05 | 2023-01-10 | トヨタ自動車株式会社 | Information processing system, program, and vehicle |
JP2020187690A (en) * | 2019-05-17 | 2020-11-19 | 株式会社カネカ | Temperature detection device and computer program |
CN110718040A (en) * | 2019-09-04 | 2020-01-21 | 上海博泰悦臻电子设备制造有限公司 | In-vehicle environment monitoring method, system, server, terminal and storage medium |
JP2021047486A (en) * | 2019-09-17 | 2021-03-25 | ダイハツ工業株式会社 | Pickup support system |
JP7423956B2 (en) * | 2019-09-20 | 2024-01-30 | 株式会社Jvcケンウッド | Video transmission device, video transmission method, and video transmission program |
JP7083806B2 (en) * | 2019-12-25 | 2022-06-13 | 本田技研工業株式会社 | Moving body image providing system, moving body image providing method, program, and moving body image providing server |
CN111862529A (en) * | 2020-05-19 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | Alarm method and equipment |
JP7310756B2 (en) * | 2020-08-24 | 2023-07-19 | トヨタ自動車株式会社 | Autonomous cart safety control device |
BR112023004500A2 (en) * | 2020-09-10 | 2023-04-04 | Nissan Motor | INFORMATION OUTPUT DEVICE AND INFORMATION OUTPUT METHOD |
JP7468411B2 (en) | 2021-03-05 | 2024-04-16 | トヨタ自動車株式会社 | Autonomous vehicles, vehicle dispatch management devices, and terminal equipment |
US20220366172A1 (en) * | 2021-05-17 | 2022-11-17 | Gm Cruise Holdings Llc | Creating highlight reels of user trips |
JP2023007334A (en) * | 2021-06-30 | 2023-01-18 | 株式会社ユピテル | Information processing systems, programs and the like |
WO2023203739A1 (en) * | 2022-04-22 | 2023-10-26 | 三菱電機株式会社 | Occupant state notifying device, occupant detecting device, and occupant state notifying method |
JP2024068008A (en) | 2022-11-07 | 2024-05-17 | 株式会社ユピテル | Systems etc. |
JP7480260B1 (en) | 2022-11-15 | 2024-05-09 | 東芝エレベータ株式会社 | Monitoring elevator, elevator safety confirmation method and computer program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4025100B2 (en) * | 2002-03-14 | 2007-12-19 | 株式会社日立製作所 | Video-based remote recognition and distribution method, its implementation system, and its processing program |
JP3991314B2 (en) * | 2002-07-19 | 2007-10-17 | 富士フイルム株式会社 | Image transmission device |
JP4479634B2 (en) * | 2005-09-26 | 2010-06-09 | 株式会社デンソー | School bus communication system |
KR101015616B1 (en) * | 2008-11-24 | 2011-02-17 | 금동교 | System and method for management of school bus |
-
2017
- 2017-03-30 JP JP2017068590A patent/JP6862629B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018169942A (en) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6862629B2 (en) | Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system | |
CA3075301C (en) | Method and device for responding to an audio inquiry | |
DE112018003225B4 (en) | Method and system for delivering an event-based voice message with coded meaning | |
US20160078576A1 (en) | Cloud-based vehicle monitoring systems and methods | |
JP6327637B2 (en) | Local information discovery system and method using mobile object | |
JP6582328B2 (en) | Information output system, information output method, and program | |
US20090005966A1 (en) | System and method for enhanced directory assistance features employing telematics and virtual reality elements | |
WO2020003749A1 (en) | Cabin monitoring method and cabin monitoring device | |
JP2022541703A (en) | Transportation control method and device, electronic device and storage medium | |
US10496887B2 (en) | Device, system and method for controlling a communication device to provide alerts | |
CN110217187B (en) | Vehicle collision processing method and device, HUD device and storage medium | |
JP6600596B2 (en) | Voice guide support system and program thereof | |
JP5875915B2 (en) | Priority seat use support system, passenger support device, and priority seat use support method | |
US11587416B1 (en) | Dynamic video analytics rules based on human conversation | |
JP4479634B2 (en) | School bus communication system | |
US20220068095A1 (en) | Surveillance control device, surveillance system, surveillance method, and recording medium | |
US20230169966A1 (en) | System and method for encouraging group discussion participation | |
KR20120059752A (en) | Emotion recognition apparatus and system for announce blind persons, method for announce using the same and recording medium thereof | |
JP2019105966A (en) | Information processing method and information processing apparatus | |
JP6980960B2 (en) | In-vehicle communication device, communication method and program that can be loaded on the vehicle and communicate with the user in the vehicle. | |
JPH0950586A (en) | Crisis management system in passenger mass transport vehicle | |
Nguyen et al. | Development of a smartphone application for safe car driving using Google API and built-in sensor | |
WO2023175829A1 (en) | Monitoring system, monitoring device, monitoring method, and recording medium | |
JP2015025902A (en) | Communication terminal and program | |
CN110089099A (en) | Camera, camera processing method, server, server processing method and information processing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6862629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |