JP7265404B2 - Information processing device and information processing method - Google Patents
Information processing device and information processing method Download PDFInfo
- Publication number
- JP7265404B2 JP7265404B2 JP2019081257A JP2019081257A JP7265404B2 JP 7265404 B2 JP7265404 B2 JP 7265404B2 JP 2019081257 A JP2019081257 A JP 2019081257A JP 2019081257 A JP2019081257 A JP 2019081257A JP 7265404 B2 JP7265404 B2 JP 7265404B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- person
- presentation
- input
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 65
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000004891 communication Methods 0.000 claims description 65
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000035559 beat frequency Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本開示は、車両を制御する技術に関するものである。 The present disclosure relates to technology for controlling a vehicle.
特許文献1には、無人自動走行が可能で、かつ乗車を可能とする自動走行カートが開示されている。具体的には、特許文献1には、手動走行と自動走行との切り替えを指示する切替レバーを備え、切替レバーが自動側に倒されると、自動走行を開始する技術が開示されている。 Patent Literature 1 discloses an automatically traveling cart capable of unmanned automatic traveling and allowing boarding. Specifically, Patent Literature 1 discloses a technique in which a switching lever for instructing switching between manual driving and automatic driving is provided, and automatic driving is started when the switching lever is pushed to the automatic side.
しかし、特許文献1では、自動走行する車両を不特定のユーザが利用することが難しい場合がある。例えば、特許文献1では、カートの利用者という特定人がユーザとして想定されているため、切替レバーの操作がユーザの乗車完了を意味する。そのため、不特定人がユーザである場合、車両を利用するユーザが乗車完了したか否かを切替レバーの操作で判定することは難しい。これは、ユーザを取り残したり、又は乗車途中で車両が発車したりすることを引き起こすおそれがある。特許文献1は、この点で改善の必要がある。 However, in Patent Literature 1, it may be difficult for an unspecified user to use the automatically traveling vehicle. For example, in Patent Literature 1, a specific person who uses a cart is assumed as a user, so operation of the switching lever means completion of boarding by the user. Therefore, when the user is an unspecified person, it is difficult to determine whether or not the user who uses the vehicle has completed boarding by operating the switching lever. This can cause the user to be left behind or the vehicle to start in the middle of the ride. Patent Document 1 needs improvement in this respect.
本開示は、上記の課題を解決するためになされたものであり、その目的は、自動運転車両に乗車しようとする不特定のユーザの取り残しの抑制又は当該ユーザの乗車の安全性を向上させる技術を提供することである。 The present disclosure has been made to solve the above problems, and the purpose thereof is to suppress unspecified users who are going to get on an automatic driving vehicle or to improve the safety of the user's boarding. is to provide
本開示の一態様に係る情報処理装置は、車両の外の物体をセンシングする第1センサから第1センシングデータを取得する第1取得部と、
前記第1センシングデータに基づいて提示情報を生成し、前記車両内に存在する提示装置に前記提示情報を提示させる提示制御部と、
前記車両内に存在する入力装置を介して前記提示情報の提示に対する入力データを取得する第2取得部と、
前記第2取得部が取得した前記入力データに応じて、前記車両への人の乗車を制御する乗車制御部と、を備える。
An information processing apparatus according to an aspect of the present disclosure includes a first acquisition unit that acquires first sensing data from a first sensor that senses an object outside a vehicle;
a presentation control unit that generates presentation information based on the first sensing data and causes a presentation device present in the vehicle to present the presentation information;
a second acquisition unit that acquires input data for presentation of the presentation information via an input device present in the vehicle;
and a boarding control unit that controls boarding of a person to the vehicle according to the input data acquired by the second acquisition unit.
本開示によれば、自動運転車両に乗車しようとする不特定のユーザの取り残し又は当該ユーザの乗車の安全性を向上させることができる。 Advantageous Effects of Invention According to the present disclosure, it is possible to improve the safety of leaving an unspecified user who is going to get on an automatic driving vehicle or getting on by the user.
(本開示に至る経緯)
近年、(AI:artificial intelligence)技術の発展に伴い、ドライバーレスの自動運転車を利用したライドシェアサービスの研究が進められている。このようなライドシェアサービスの一形態として路線バスの運行がある。路線バスを自動運行させた場合、人間であるドライバーが従来行っていた様々な業務をコンピュータが行うことになるが、これらの業務をコンピュータに担わせることは容易ではない。
(Background leading up to this disclosure)
In recent years, with the development of (AI: artificial intelligence) technology, research on ride-sharing services using driverless self-driving cars is underway. As one form of such ride-sharing service, there is a route bus service. If a route bus is operated automatically, computers will perform various tasks that were conventionally performed by human drivers, but it is not easy to make computers handle these tasks.
例えば、路線バスではバス停があり、バス停には路線の異なる複数の路線バスが往来するため、ドライバーはバス停にいる人物がこのバスに乗車しようとしている人物であるか、このバスに乗車しようとしていない人物であるかを判断する。そして、この人物がこのバスに乗車しようとしている人物であると判断した場合、ドライバーは、この人物を取り残すことなく安全にバスに乗車させるために、この人物が完全にバスに乗車するのを待った後、バスの走行を開始させる。 For example, a route bus has a bus stop, and multiple buses with different routes come and go at the bus stop. determine if it is a person. Then, if the driver determined that this person was the person who was about to board the bus, the driver waited until the person was completely on the bus in order to allow the person to safely board the bus without being left behind. Then start running the bus.
また、バス停では発車時刻間際になってバスに駆け寄ってくる人物もいるため、ドライバーはバスの周囲で歩行する人物がいる場合、この人物がこのバスに乗ろうとしている人物であるか否かも見極め、バスの走行を開始させる。 Also, at the bus stop, there are people who run up to the bus just before the departure time, so if there is a person walking around the bus, the driver can also determine whether this person is the person who is going to get on the bus. , start the bus.
このように、バス停において、乗客を取り残すことなく安全に乗車させるためには、ドライバーは、バスの周囲にいる人物の行動、表情、及び位置といったバスの周囲の様々な状況を総合的に判断して、バスの走行を開始する。しかし、このような総合的な判断を、コンピュータが行うのは技術的に困難であり、路線バスを完全自動化するには困難が多い。 In this way, at a bus stop, in order to let passengers get on safely without being left behind, the driver must comprehensively judge various situations around the bus, such as the behavior, facial expressions, and positions of people around the bus. to start running the bus. However, it is technically difficult for a computer to make such a comprehensive judgment, and there are many difficulties in fully automating a route bus.
上述の特許文献1は、ゴルフ場で使用されるカートに関する技術であり、このようなカートでは、顔見知りである特定の人物がカートに乗車した後に、乗車しているある人物が走行開始をカートに指示すると自動運転が開始される。したがって、特許文献1は、顔見知りでない不特定の人物が発車間際になってカートに駆け寄ってくるような場面が想定できず、上述のような課題は生じない。 The above-mentioned Patent Document 1 is a technology related to a cart used at a golf course. When instructed, automatic operation starts. Therefore, in Patent Literature 1, it is not possible to assume a scene in which an unspecified person who is not acquainted runs up to the cart just before departure, and the problem described above does not occur.
そこで、本発明者は、このような判断をコンピュータのみに行わせるのではなく路線バスの乗客の協力を得ることで、自動運転車両に乗車しようとする不特定のユーザの取り残し又は乗車の安全性を向上させることができるとの着想を得て本開示をするに至った。 Therefore, the inventors of the present invention obtained the cooperation of the passengers of the route bus instead of letting the computer make such a judgment alone, so that unspecified users who are going to get on the automatic driving vehicle may be left behind or boarding safety. The present disclosure was made based on the idea that it is possible to improve the
本開示の一態様に係る情報処理装置は、車両の外の物体をセンシングする第1センサから第1センシングデータを取得する第1取得部と、
前記第1センシングデータに基づいて提示情報を生成し、前記車両内に存在する提示装置に前記提示情報を提示させる提示制御部と、
前記車両内に存在する入力装置を介して前記提示情報の提示に対する入力データを取得する第2取得部と、
前記第2取得部が取得した前記入力データに応じて、前記車両への人の乗車を制御する乗車制御部と、を備える。
An information processing apparatus according to an aspect of the present disclosure includes a first acquisition unit that acquires first sensing data from a first sensor that senses an object outside a vehicle;
a presentation control unit that generates presentation information based on the first sensing data and causes a presentation device present in the vehicle to present the presentation information;
a second acquisition unit that acquires input data for presentation of the presentation information via an input device present in the vehicle;
and a boarding control unit that controls boarding of a person to the vehicle according to the input data acquired by the second acquisition unit.
本構成によれば、センサにより得られた車外の物体をセンシングした第1センシングデータを用いて提示情報が提示され、提示情報に対する入力が取得され、その入力に応じて車両の乗車が制御される。これにより、例えば、車両に乗車しようとする人の有無の判断結果を車内の人に入力させ、入力された内容に応じて車両に乗車しようとする人の車両への乗車を制御することが可能となる。したがって、本構成は、車両に乗車しようとしている人の有無の判断処理について車内の人の判断を利用することができ、車両に乗車しようとする不特定の人の取り残し又は乗車の安全性を向上させることができる。 According to this configuration, the presentation information is presented using the first sensing data obtained by sensing the object outside the vehicle obtained by the sensor, an input for the presentation information is acquired, and boarding of the vehicle is controlled according to the input. . As a result, for example, it is possible to have people in the vehicle enter the judgment result of whether or not there is a person who is going to board the vehicle, and to control the boarding of the person who is going to board the vehicle according to the input content. becomes. Therefore, this configuration can use the judgment of the people in the vehicle for the judgment processing of the presence or absence of people who are going to get on the vehicle, and improves the safety of leaving unspecified people who are going to get on the vehicle or getting on. can be made
上記態様において、前記提示情報は、画像を含み、
前記入力データは、操作画像に対する操作を示す操作データを含み、
前記提示制御部は、前記操作画像を生成してもよい。
In the above aspect, the presentation information includes an image,
the input data includes operation data indicating an operation on the operation image;
The presentation control unit may generate the operation image.
本構成によれば、提示情報において、車両の外の物体を示す画像を含ませることができので、車内の人はその画像を見ながら車両に乗車しようとしている人の有無を適切に判断し、その判断結果を操作画像を用いて容易に入力することができる。 According to this configuration, since the presentation information can include an image showing an object outside the vehicle, a person inside the vehicle can appropriately determine whether or not a person is about to board the vehicle while viewing the image, The determination result can be easily input using the operation image.
上記態様において、前記操作画像は、前記車両の乗車口のドアの操作のための画像を含み、
前記乗車制御部は、前記操作データが示す操作に応じてドアを制御させてもよい。
In the above aspect, the operation image includes an image for operating the entrance door of the vehicle,
The boarding control unit may control the door according to the operation indicated by the operation data.
本構成によれば、車両の乗車口のドアを操作するための操作画像を提示できるため、車内の人の操作で直接的に物理的な乗車の制御を行うことができる。例えば、車内の人は、車両に乗車しようとしている人が居ると判断した場合、ドアを閉めない操作を入力することにより、当該人を取り残すことなく安全に乗車させることができる。一方、車内の人は、車両に乗車しようとしている人が居ないと判断した場合、ドアを閉める操作を入力することで、車両を速やかに走行させることができる。 According to this configuration, since it is possible to present an operation image for operating the door of the entrance of the vehicle, it is possible to perform physical boarding control directly by the operation of the person in the vehicle. For example, when a person inside the vehicle determines that there is a person trying to get into the vehicle, the person can enter the vehicle safely without being left behind by inputting an operation not to close the door. On the other hand, when the person in the vehicle determines that there is no one trying to get into the vehicle, the vehicle can be made to run quickly by inputting an operation to close the door.
上記態様において、前記操作画像は、前記車両に乗車しようとする人がいるか否かを選択するための画像を含み、
前記乗車制御部は、前記操作データが示す操作に応じて前記車両の乗車口のドアを制御させてもよい。
In the above aspect, the operation image includes an image for selecting whether or not there is a person trying to get into the vehicle,
The boarding control unit may control a boarding door of the vehicle according to the operation indicated by the operation data.
本構成によれば、車両に乗車しようとする人の有無を選択するための操作画像が表示されるため、車内の人の操作で間接的に物理的な乗車の制御を行うことができる。これにより、車内の人は心理的に乗車させない判断をしにくくなり、ドアの開閉操作の場合よりも乗車しようとしている人を乗車させやすくすることができる。そのため、乗車しようとする人の取り残しを抑制することができる。 According to this configuration, since the operation image for selecting the presence or absence of a person who is going to get into the vehicle is displayed, it is possible to indirectly physically control boarding by the operation of the person inside the vehicle. This makes it difficult for people in the car to psychologically decide not to let them get in, and makes it easier for people who are going to get in to get in than in the case of opening and closing the door. Therefore, it is possible to prevent people who are going to get on the train from being left behind.
上記態様において、前記提示情報は、画像に映る人を強調する画像を含んでもよい。 In the above aspect, the presentation information may include an image that emphasizes a person appearing in the image.
本構成によれば、提示情報には画像に写る人が強調表示された画像が含まれるため、車内の人に、車両に乗車しようとする人の有無の判断を容易に行わせることができる。その結果、誤判断が抑制され、車両に乗車しようとする人の取り残しの抑制と安全確保ができる。 According to this configuration, since the presentation information includes an image in which the person in the image is highlighted, it is possible to allow the person in the vehicle to easily judge whether or not there is a person who is going to get on the vehicle. As a result, erroneous judgments are suppressed, and it is possible to suppress people who are going to get on the vehicle from being left behind and to ensure safety.
上記態様において、前記提示情報は、画像に映る人の動きを示す画像を含んでもよい。 In the above aspect, the presentation information may include an image showing movement of a person appearing in the image.
本構成によれば、提示情報には、画像に写る人の動きを示す画像が含まれるため、例えば車内の人に、車両に駆け寄ってくる人の有無を正確に判断させることができる。その結果、誤判断が抑制され、車両に乗車しようとする人の取り残しの抑制と安全確保ができる。 According to this configuration, since the presentation information includes an image showing the movement of the person in the image, for example, it is possible for the person in the vehicle to accurately determine whether or not there is a person running up to the vehicle. As a result, erroneous judgments are suppressed, and it is possible to suppress people who are going to get on the vehicle from being left behind and to ensure safety.
上記態様において、前記第1取得部はさらに、前記車両に取り付けられた前記車両内をセンシングする第2センサから第2センシングデータを取得し、
前記第2センシングデータを用いて前記車両内の人を特定する特定部を更に備え、
前記提示制御部は、特定された前記人に前記提示情報を提示させてもよい。
In the above aspect, the first acquisition unit further acquires second sensing data from a second sensor attached to the vehicle that senses the inside of the vehicle,
further comprising an identification unit that identifies a person in the vehicle using the second sensing data;
The presentation control unit may cause the specified person to present the presentation information.
本構成によれば、車両内に取り付けられたセンサが取得した第2センシングデータを用いて車両内の特定の人が特定され、特定された人に車両に乗車しようとする人の有無を判断させることができる。そのため、例えば、入力装置の近くに位置する人、判断について信頼のおけそうな人、及び車両に乗車しようとしている人を目視しやすい位置に乗車している人等の前記判断を利用することができ、前記判断の信頼性を高めることができる。 According to this configuration, a specific person in the vehicle is identified by using the second sensing data acquired by the sensor installed in the vehicle, and the identified person is allowed to determine whether or not there is a person trying to get into the vehicle. be able to. Therefore, for example, it is possible to use the judgment of a person who is located near the input device, a person who is likely to be reliable in the judgment, and a person who is in a position where the person who is about to get into the vehicle can be easily seen. It is possible to improve the reliability of the judgment.
上記態様において、前記特定部は、前記入力データの履歴から人を特定してもよい。 In the above aspect, the identification unit may identify the person from the history of the input data.
本構成によれば、過去の入力履歴から人が特定されるため、例えば、過去の入力履歴から判断について信頼できる人に、車両に乗車しようとする人の有無の判断をさせることができ、前記判断の信頼性を高めることができる。 According to this configuration, since the person is specified from the past input history, for example, it is possible to let a person who can be trusted to judge from the past input history judge whether or not there is a person trying to get on the vehicle. The reliability of judgment can be improved.
上記態様において、前記第1取得部はさらに、前記車両に取り付けられた前記車両内をセンシングする第2センサから第2センシングデータを取得し、
前記第2センシングデータを用いて前記車両内に人がいるか否かを判定する判定部を更に備え、
前記提示制御部は、前記判定部が前記車両内に前記人がいると判定した場合に前記提示情報を提示させてもよい。
In the above aspect, the first acquisition unit further acquires second sensing data from a second sensor attached to the vehicle that senses the inside of the vehicle,
Further comprising a determination unit that determines whether or not there is a person in the vehicle using the second sensing data,
The presentation control unit may present the presentation information when the determination unit determines that the person is present in the vehicle.
本構成によれば、車両内に人がいる場合に提示情報を提示させることができるため、車両内に人がいない場合に提示情報が提示されることを防止でき、無駄な処理の発生を防止することができる。 According to this configuration, the presentation information can be presented when there is a person in the vehicle, so it is possible to prevent the presentation information from being presented when there is no person in the vehicle, and the occurrence of wasteful processing can be prevented. can do.
上記態様において、前記入力装置に入力を行った人を特定する操作者特定部と、
特定された前記人にインセンティブを付与するインセンティブ付与部と、を更に備えてもよい。
In the above aspect, an operator identification unit that identifies a person who has made an input to the input device;
and an incentive granting unit that grants an incentive to the identified person.
本構成によれば、入力を行った人にインセンティブが付与されるので、車両に乗車しようとする人の有無の判断結果を入力する動機付けを車内の人に付与することができ、判断結果が入力されない事態を回避できる。 According to this configuration, since the incentive is given to the person who has made the input, it is possible to give motivation to the person in the vehicle to input the determination result of whether or not there is a person who is going to get into the vehicle, and the determination result is satisfied. It is possible to avoid situations where no input is made.
上記態様において、前記入力装置は、前記車両内の人によって所持され、前記情報処理
装置と通信する通信端末を含み、
前記第2取得部は、前記通信端末から通信を介して前記入力データを取得してもよい。
In the above aspect, the input device includes a communication terminal carried by a person in the vehicle and communicating with the information processing device,
The second acquisition unit may acquire the input data from the communication terminal via communication.
本構成によれば、車両に乗車しようとする人の判断結果の入力が車内の人の通信端末から行うことが可能であるため、当該人に当該入力を容易に行わせることができる。また、車両に入力装置を設置せずに済むため、コストを低減することができる。 According to this configuration, since it is possible for a person who intends to get into the vehicle to input the determination result from the communication terminal of the person in the vehicle, it is possible to allow the person to easily perform the input. Moreover, since it is not necessary to install an input device in the vehicle, the cost can be reduced.
上記態様において、前記提示装置は、前記車両内の人によって所持され、前記情報処理装置と通信する通信端末を含み、
前記第2取得部は、前記提示情報を前記通信端末に送信し、
前記通信端末は、送信された前記提示情報を提示してもよい。
In the above aspect, the presentation device includes a communication terminal carried by a person in the vehicle and communicating with the information processing device,
The second acquisition unit transmits the presentation information to the communication terminal,
The communication terminal may present the transmitted presentation information.
本構成によれば、車内の人の通信端末に提示情報が表示されるので、車両に乗車しようとする人の有無の判断を当該人に容易に行わせることができる。また、車両に提示装置を設置せずに済むため、コストを低減することができる。 According to this configuration, the presentation information is displayed on the communication terminal of the person in the vehicle, so that the person can easily determine whether or not there is a person who is going to get into the vehicle. Moreover, since it is not necessary to install the presentation device in the vehicle, the cost can be reduced.
本開示は、このような情報処理装置に含まれる特徴的な各構成をコンピュータに実行させる情報処理方法、コンピュータプログラム、或いはこのコンピュータプログラムによって動作するシステムとして実現することもできる。また、このようなコンピュータプログラムを、CD-ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。 The present disclosure can also be implemented as an information processing method, a computer program that causes a computer to execute each characteristic configuration included in such an information processing apparatus, or a system that operates with this computer program. It goes without saying that such a computer program can be distributed via a computer-readable non-temporary recording medium such as a CD-ROM or a communication network such as the Internet.
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。 It should be noted that each of the embodiments described below is a specific example of the present disclosure. Numerical values, shapes, components, steps, order of steps, and the like shown in the following embodiments are examples and are not intended to limit the present disclosure. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in independent claims representing the highest concept will be described as arbitrary constituent elements. Moreover, each content can also be combined in all the embodiments.
(実施の形態1)
図1は、本開示の実施の形態1に係る情報処理装置が適用された車両1において、車両1の外部構成と車両1の内部構成との一例を示す図である。図1において、上図は車両1の外部構成を示し、下図は車両1の内部構成を示している。本実施の形態では、車両1として路線バスが採用される。また、車両1は、AIが実装されたコンピュータによって自動運転されるドライバーレスの自動運転車両で構成される。
(Embodiment 1)
FIG. 1 is a diagram showing an example of an external configuration of a vehicle 1 and an example of an internal configuration of the vehicle 1 in which an information processing device according to Embodiment 1 of the present disclosure is applied. In FIG. 1, the upper diagram shows the external configuration of the vehicle 1, and the lower diagram shows the internal configuration of the vehicle 1. As shown in FIG. In this embodiment, a route bus is adopted as the vehicle 1 . In addition, the vehicle 1 is configured as a driverless automatic driving vehicle that is automatically driven by a computer in which AI is implemented.
図1の上図を参照し、車両1は、車外センサ11及びドア16を備える。図1の上図の例では、車外センサ11は、車両1の前面の上部に設けられた車外センサ111と、車両1の側面中央の上部に設置された車外センサ112とを含む。なお、車外センサ112は、車両1ではなく車両とは別の場所に設けられてもよい。例えば、車外センサ112は、道路に面した建物又はバス停等の車両1の外部をセンシング可能な場所に設けられてよい。
Referring to the upper diagram of FIG. 1 , vehicle 1 includes
ドア16は、車両1の側面の前方に設けられたドア161と車両1の側面の後方に設けられたドア162とを含む。ここでは、ドア161は乗客が車両1から降車する際に利用され、且つ、ドア162は乗客が車両1に乗車する場合に利用される。但し、これは一例である。例えば、ドア161は乗客が車両1に乗車する場合に利用され、且つ、ドア162は乗客が車両1から降車する場合に利用されてもよい。
The
車外センサ111は、車両1の前方の物体(例えば、別の車両及び人物等)を検出して、車両1を自動運転させるために必要なセンシングデータを取得するために使用される。ここでは、車外センサ111は、車両1の前面上部に設けられているが、これは一例であり、車両1の後方の物体を検出するために、車両1の後面に更に設けられてもよい。
The
車外センサ112は、車両1に乗車しようとしている人物が居るか否かを判断するために必要なセンシングデータを取得するために使用される。ここでは、車外センサ112は、車両の側面の上部に設置されているが、これは一例であり、車両1に乗車しようとしている人物を検出することができる位置であればどのような位置に設置されていてもよく、例えば、車両1の側面であってドア16の周囲に設置されていてもよい。例えば、前方のドア161から乗客が乗車する路線バスであれば、ドア161の上部に車外センサ112は設置されていてもよく、後方のドア162から乗客が乗車する路線バスであれば、ドア162の上部に車外センサ112は設置さていてもよい。或いは、ドア161及びドア162の両方に車外センサ112は設置されていてもよい。
The
図1の下図を参照し、車両1の内部には、通常の路線バスと同様、乗客が着座するために複数の座席1aと、座席1aの側方の上端から天井に向けて立設された複数のパイプ1bとを備えている。複数の座席1aは、通路を挟んで車両の長手方向に配列されている。車両1の内部には、入出力端末13及び車内センサ12が設けられている。
Referring to the lower diagram of FIG. 1, inside the vehicle 1, as in a normal route bus, there are a plurality of
入出力端末13(入力装置の一例)は、例えば、CPU等のプロセッサ、液晶パネル等の表示装置、及び乗客からの操作が入力されるタッチパネル等の入力装置を含む情報処理装置で構成されている。入出力端末13は、バス停で車両1が発車しようとする際に、車両1に乗車しようとする人物Bの有無を車両1内の乗客Aに判断させるための画像を表示する。また、入出力端末13は、乗客Aによる判断結果を乗客Aが入力するための操作を受け付けるための操作画像を表示する。この例では、車両1はバス停で停車しており、人物Bがドア162に向けて駆け寄ってきている。そのため、乗客Aは、車両1に乗車しようとする人物Bがいると判断し、車両1に対してその人物Bが居るとの判断結果を入力している。これにより、車両1は人物Bの車内への乗車が完了したことを確認した後、バス停を発車する。そのため、車両1は人物Bをバス停に取り残すことなく安全に乗車させることができる。
The input/output terminal 13 (an example of an input device) is configured by an information processing device including, for example, a processor such as a CPU, a display device such as a liquid crystal panel, and an input device such as a touch panel for inputting operations from passengers. . The input/
ここでは、車外から乗客が乗車する際に利用されるドア162付近に設けられたパイプ1bにおいて1つの入出力端末13が設置されているが、これは一例である。例えば、入出力端末13は、各座席1aに1つずつ設置されてもよいし、2以上の所定数の座席1aごとに1つ設置されてもよい。なお、以下の説明では、説明の便宜のため、特に断らない限り、入出力端末13は車内に1つ設置されているものとして説明する。
Here, one input/
或いは、入出力端末13は、最前列の座席の付近に1つ設置されていてもよい。この場合、全ての乗客に画像を視認させるために、入出力端末13は、大型ディスプレイを備えて構成されてもよい。このように、入出力端末13の個数及び設置位置は特に限定はされない。
Alternatively, one input/
車内センサ12は、例えば、車内の天井に設置されたカメラで構成され、車内に乗客が居るか否かを情報処理装置が判断するために使用されるセンシングデータを取得する。ここでは、車内センサ12は、車内の全域を撮影するために天井の中央部に1つ設置された広角カメラで構成されているがこれは一例である。例えば、車内センサ12は、車内の全域を分担して撮影する複数のカメラで構成されてもよい。この場合、複数のカメラの通常の画角を持つカメラで構成されればよい。
The in-
図2は、図1に示す車両1の構成を示すブロック図である。車両1は、図1に示す車外センサ11(第1センサの一例)、車内センサ12(第2センサの一例)、入出力端末13、及びドア16に加えて、さらに情報処理装置14及び車両制御部15を備えている。
FIG. 2 is a block diagram showing the configuration of vehicle 1 shown in FIG. In addition to the vehicle exterior sensor 11 (an example of a first sensor), the vehicle interior sensor 12 (an example of a second sensor), the input/
車外センサ11は、例えば、LIDAR(light detection and ranging)、ステレオカメラ、又はミリ波センサで構成され、車両1の前方の物体を示すセンシングデータ及び車両1の側方の物体を示すセンシングデータを、例えば、所定のフレームレートで定期的に取得する。
The
LIDARは、レーザを使って可視スペクトル外の光のパルスを方向を変えながら発射し、そのパルスが戻ってくる時間を計測することで、周囲に存在する物体の方向及び距離を測定するセンサである。ミリ波センサはミリ波を照射して、反射波と元の照射波とを加算して得られるビート周波数を測定することで周囲に存在する物体の方向及び距離を測定するセンサである。ステレオカメラは、例えば複数のカメラで撮影された画像に含まれる物体の視差から周囲に存在する物体の距離及び方向を測定するセンサである。 LIDAR is a sensor that measures the direction and distance of surrounding objects by emitting redirecting pulses of light outside the visible spectrum using lasers and measuring the time it takes for the pulses to return. . A millimeter wave sensor is a sensor that measures the direction and distance of an object existing in the surroundings by irradiating millimeter waves and measuring the beat frequency obtained by adding the reflected waves and the original radiated waves. A stereo camera is a sensor that measures the distance and direction of a surrounding object from the parallax of an object included in images captured by a plurality of cameras, for example.
車内センサ12は、例えば、カメラで構成され、車内の乗客を示す画像を所定のフレームレートで取得する。
The in-
情報処理装置14は、プロセッサ140及び通信部150を備える。プロセッサ140は、例えば、CPUで構成され、運行制御部141、車内乗客検出部142、及び表示情報生成部143を備えている。運行制御部141~表示情報生成部143は、例えば図略のメモリに記憶されたプログラムをプロセッサ140が実行することで実現される。
The
運行制御部141(乗車制御部の一例)は、車両1に対する人物の乗車の制御を司るものである。具体的には、運行制御部141は、例えば、予め定められた車両1の運行スケジュールを管理しており、この運行スケジュールにしたがって車両1を走行させる。
The operation control unit 141 (an example of a boarding control unit) controls the boarding of the vehicle 1 by a person. Specifically, the
ここで、運行スケジュールには、例えば、停車するべき複数のバス停の位置情報(例えば、緯度及び経度)と、各バス停の到着時刻及び発車時刻と、車庫を発車してから停車するべきバス停を通って再び車庫に戻るまでの最適経路を示す経路情報等が含まれている。 Here, the operation schedule includes, for example, positional information (for example, latitude and longitude) of a plurality of bus stops to be stopped, arrival and departure times of each bus stop, and the bus stop to be stopped after leaving the garage. It contains information such as route information that indicates the optimum route to return to the garage again.
したがって、運行制御部141は、例えば、車両1の現在地の位置情報とバス停の位置情報とを照合して、あるバス停に車両1が到着したことを検出すると車両1を停車させる制御コマンド及びドア16を開ける制御コマンドを、通信部150を用いて車両制御部15に送信する。なお、運行制御部141は、例えば図略のGPSセンサによって検出された位置情報を車両1の現在地の位置情報として取得すればよい。
Therefore, the
また、運行制御部141は、当該バス停の発車時刻になるとそのことを車内乗客検出部142通知する。また、運行制御部141は、車両1に乗車しようとしている人物の有無を示す判断結果が乗客によって入力され、その判断結果が入出力端末13から送信されると、その判断結果に応じてドア16の開閉を制御する。この判断結果は入力データ及び操作データの一例に相当する。ここで、運行制御部141は、車両制御部15に通信部150を介して制御コマンドを送信することでドア16の開閉を制御すればよい。これにより、車両1に乗車しようとする人物が居るにも拘わらず、発車時刻になったからといって直ちに車両1が発車することが防止される。
In addition, the
車内乗客検出部142(判定部の一例)は、運行制御部141から発車時刻になったことが通知されると、車内センサ12が検出したセンシングデータ(第2センシングデータの一例)を通信部150を介して取得し、当該センシングデータ用いて、車内に乗客が居るか否かを検出する。ここで、車内センサ12はカメラで構成されているので、車内センサ12が検出したセンシングデータは車内の状況を示す画像データで構成されることになる。したがって、車内乗客検出部142は、この画像データに対して所定の画像処理を適用することで車内に居る乗客を検出すればよい。
In-vehicle passenger detection unit 142 (an example of a determination unit) transmits sensing data (an example of second sensing data) detected by in-
ここで、所定の画像処理としては、例えば、ディープラーニングによって生成された分類器を使用して乗客を検出する処理が採用されてもよいし、テンプレートマッチングにより乗客を検出する処理が採用されてもよい。なお、車内乗客検出部142は、車内に乗客が居ることを検出した場合、そのことを表示情報生成部143に通知する。
Here, as the predetermined image processing, for example, a process of detecting passengers using a classifier generated by deep learning may be adopted, or a process of detecting passengers by template matching may be adopted. good. When detecting that there is a passenger in the vehicle, the in-vehicle
表示情報生成部143(提示制御部の一例)は、車内乗客検出部142から車内に乗客が居ることが通知された場合、車外センサ11が取得したセンシングデータを通信部150を用いて取得する。そして、表示情報生成部143は、取得したセンシングデータを用いて、車両を発車させるか否かの判断結果(入力データの一例)を乗客に入力させるための提示情報を生成し、通信部150を介して入出力端末13に送信する。例えば、提示情報は、車両1に乗車しようとしている人物の有無の判断結果(操作データの一例)を乗客に入力させるための提示画像(操作画像の一例)であってよい。
The display information generation unit 143 (an example of the presentation control unit) acquires the sensing data acquired by the
通信部150(第1取得部及び第2取得部の一例)は、情報処理装置14、車外センサ11、車内センサ12、及び入出力端末13を通信可能に接続するための通信インターフェースで構成される。
The communication unit 150 (an example of the first acquisition unit and the second acquisition unit) is configured by a communication interface for communicably connecting the
車両制御部15は、ECU等のコンピュータと、車両1を走行させる走行モータと、車両1を制動させるブレーキと、ドア16を開閉させる開閉モータ等で構成され、情報処理装置14から送信される種々の制御コマンドにしたがって車両1を動作させる。例えば、車両制御部15は、通信部150からドア16を閉じる制御コマンドを受信すると開閉モータを動作させてドア16を閉じる。また、車両制御部15は、通信部150から車両1を発車させる制御コマンドを受信すると、走行モータを動作させ、車両1を発車させる。
The
また、車両制御部15は、車外センサ11が取得したセンシングデータを通信部150を介して所定周期で受信し、AI技術を用いて車両1を自動運転させる。
In addition, the
入出力端末13は、通信部131及び入出力部132を備える。通信部131は、入出力端末13を情報処理装置14と通信可能に接続する通信装置で構成されている。本開示では、通信部150は、情報処理装置14から送信される提示画像を受信すると共に、入出力部132が取得した提示画像に対する乗客の判断結果を情報処理装置14に送信する。入出力部132は、例えば、ディスプレイ等の出力装置と、タッチパネル等の入力装置と、出力装置及び入力装置を制御するプロセッサ等で構成されている。
The input/
本開示では、入出力部132は、情報処理装置14から送信された提示画像の画像データに基づいて提示画像を生成してディスプレイに表示すると共に、提示画像に対する乗客の入力を受け付ける。
In the present disclosure, the input/
続いて、情報処理装置14の処理について説明する。図3は、図1に示す情報処理装置14の処理の一例を示すフローチャートである。S11では、運行制御部141は、車両1がバス停に到着したか否かを判定する。ここで、運行制御部141は、車両1の現在地の位置情報と、運行スケジュールに含まれるバス停の位置情報とを照合することで、車両1がバス停に到着したか否かを判定する。なお、運行制御部141は、車両1の現在地がバス停に対して所定距離以下に位置すると、車両1をバス停で正確に停止させるために車両1を制動させる制御コマンドを通信部150を介して車両制御部15に送信すればよい。
Next, processing of the
車両1がバス停に到着したと判定されると(S11でYES)、処理はS12に進み、車両1がバス停に到着していないと判定されると(S11でNO)、処理は終了する。 If it is determined that the vehicle 1 has arrived at the bus stop (YES at S11), the process proceeds to S12, and if it is determined that the vehicle 1 has not arrived at the bus stop (NO at S11), the process ends.
S12では、運行制御部141は、ドア16を開ける制御コマンドを通信部150を介して車両制御部15に送信することで、車両制御部15にドア16を開けさせる。これにより、車両1はドア16を開けた状態でバス停で停車することになる。
In S<b>12 , the
S13では、運行制御部141は、現在時刻が当該バス停に対応する発車時刻になったか否かを判定する。ここで、運行制御部141は、情報処理装置14が備える時計(図略)と運行スケジュールに含まれる当該バス停の発車時刻とを照合することで、S13の判定を行う。現在時刻が発車時刻になったと判定されると(S13でYES)、処理はS14に進み、現在時刻が発車時刻になっていないと判定されると(S13でNO)、処理はS13に戻る。
In S13, the
S14では、車内乗客検出部142は、車内センサ12が取得したセンシングデータを用いて車内の乗客の有無を判定する。車内に乗客がいると判定された場合(S15でYES)、処理はS16に進み、車内に乗客がいないと判定された場合(S15でNO)、乗客判断処理の判断主体が車内に存在しないため、乗客判断処理を行うことなく、処理はS17に進む。これにより、判断主体がいない場合に無駄な処理が発生することを省くことができる。
In S<b>14 , the in-vehicle
S16では、乗客判定処理が実行される。乗客判定処理は、車内の乗客に車両1に乗車しようとしている人物の有無を判断させ、判断結果を入力させる処理であり、詳しくは図4で説明する。 In S16, passenger determination processing is executed. The passenger determination process is a process of having passengers in the vehicle determine whether or not there is a person who is going to board the vehicle 1, and inputting the determination result. Details will be described with reference to FIG.
S17では、運行制御部141は、車外センサ11が取得したセンシングデータを用いて乗車口の周囲に人物がいるか否かを判定する。ここで、運行制御部141は、例えば、上述した分類器にセンシングデータを入力することで人物を抽出し、その人物が乗車口から所定距離内に位置する場合、乗車口の周囲に人物が居ると判定し、乗車口から所定距離内に人物が居なければ、乗車口の周囲に人物は居ないと判定すればよい。ここで、乗車口とは人物が乗車するドア16が開閉される箇所を指す。また、所定距離としては、乗車口を基準にして例えば1m、2m、5mといった距離が採用できる。これにより、乗車中の人物が居るにも拘わらず車両1のドア16が閉じることが防止される。
In S17, the
乗車口の周辺に人物が居なければ(S17でYES)、処理はS18に進み、乗車口の周辺に人物が居れば(S17でNO)、処理はS16に戻り、再度、乗客判定処理が実行される。 If there is no person around the entrance (YES at S17), the process proceeds to S18, and if there is a person around the entrance (NO at S17), the process returns to S16, and the passenger determination process is executed again. be done.
S18では、運行制御部141は、ドア16を閉めるための制御コマンドを通信部150を用いて車両制御部15に送信し、車両制御部15に開閉モータを動作させることでドア16を閉める。
In S<b>18 , the
S19では、運行制御部141は、車両1を走行させる制御コマンドを通信部150を用いて車両制御部15に送信し、車両制御部15に走行モータを動作させることで車両1をバス停から発車させる。
In S19, the
図4は、図3に示す乗客判断処理の詳細を示すフローチャートである。S161では、表示情報生成部143は、車外センサ11が取得したセンシングデータを通信部150を介して取得する。S162では、表示情報生成部143は、車外センサ11が取得したセンシングデータを用いて車両1の周囲に人物が居るか居ないかを判定する。
FIG. 4 is a flow chart showing details of the passenger determination process shown in FIG. In S<b>161 , the display
ここで、表示情報生成部143は、車外センサ11が取得したセンシングデータに含まれる種々の物体を複数のクラスに分類する分類器を用いて、車両1の周囲に人物が居るか居ないかを判定すればよい。
Here, the display
分類器は、例えばディープラーニング等の機械学習により予め作成されたデータである。複数のクラスとしては、例えば、人物を示す人物クラス、自転車を示す自転車クラス、自動車を示す自動車クラスというような車両1の周囲に位置することが想定される物体に対応するクラスが採用される。ここでは、分類器を用いて車両1の周囲の人物の有無を検出したが、本開示はこれに限定されず、表示情報生成部143は、テンプレートマッチング等の公知の画像認識手法を用いて車両1周囲の人物の有無を検出してもよい。 A classifier is, for example, data created in advance by machine learning such as deep learning. As the plurality of classes, for example, classes corresponding to objects assumed to be positioned around the vehicle 1, such as a person class representing a person, a bicycle class representing a bicycle, and a car class representing a car, are adopted. Here, the presence or absence of a person around the vehicle 1 is detected using a classifier, but the present disclosure is not limited to this. 1. Presence or absence of a person in the vicinity may be detected.
車両1の周囲とは、例えば、車両1の重心から所定距離(例えば40m)内の領域を指す。なお、この40mは一例であり、10m、20m、30m等の他の距離が採用されてもよい。これにより、表示情報生成部143は、バス停に居る人物及び車両1に駆け寄ってくる人物等の車両1の周囲の人物を検出できる。
The surroundings of the vehicle 1 refer to an area within a predetermined distance (for example, 40 m) from the center of gravity of the vehicle 1, for example. Note that this 40 m is an example, and other distances such as 10 m, 20 m, and 30 m may be adopted. Thereby, the display
具体的には、表示情報生成部143は、車外センサ111、112が取得したセンシングデータを分類器に入力し、人物クラスとして出力された物体のうち、車両1からの距離が所定距離内に位置する物体があれば、車両1の周囲に人物が居ると判定すればよい。一方、人物クラスとして出力された物体のうち、車両1からの距離が所定距離内に位置する物体がない又は人物クラスとして出力された物体がいない場合、表示情報生成部143は、車両1の周囲に人物が居ないと判定すればよい。
Specifically, the display
車両1の周囲に人物が居ると判定された場合(S162でYES)、処理はS163に進み、車両1の周囲に人物が居ないと判定された場合(S162でNO)、処理は図3に戻る。 If it is determined that there is a person around the vehicle 1 (YES at S162), the process proceeds to S163. return.
S163では、表示情報生成部143は、車両1の周囲に居る人物を示す画像と、その人物が車両1に乗車しようとしているか否かの車内の乗客による判断結果を入力させるための操作画像とを含む提示画像を生成し、通信部150を用いて入出力端末13に送信する。これにより、入出力端末13の入出力部132は、提示画像を表示する。
In S163, the display
図5は、入出力端末13に表示される提示画像G1の一例を示す図である。提示画像G1は、車両1の前方の状況を表示する画像G11と、車両側方の状況を表示するための画像G12と、乗客からの判断結果が入力される操作画像G13とを含む。
FIG. 5 is a diagram showing an example of the presentation image G1 displayed on the input/
画像G11は、車両1の前面に設置された車外センサ111が取得したセンシングデータに基づいて生成された画像である。画像G12は、車両1の側面に設置された車外センサ112が取得したセンシングデータに基づいて生成された画像である。例えば、車外センサ111及び車外センサ112がLIDAR又はミリ波センサで構成されている場合は、センシングデータに対して色付加工された画像が画像G11及び画像G12として採用されてもよい。また、車外センサ111及び車外センサ112がステレオカメラで構成されている場合は、ステレオカメラを構成するいずれか1つのカメラが取得した画像データが画像G11及び画像G12として表示されればよい。
The image G<b>11 is an image generated based on sensing data acquired by the
画像G11及び画像G12は車外センサ11が取得したセンシングデータが所定のフレームレートで切り替えて表示される動画像で構成される。この例では、車両1の周囲に人物が居たため、画像G12には、車両1に乗車しようとする人物Bが含まれている。また、画像G12には、人物Bを強調表示するために強調画像L121が人物Bを取り囲むように画像G12対して重畳表示されている。この例では、強調画像L121は、人物Bを点線で取り囲む四角形の画像が採用されている。但し、これは一例であり、強調画像L121としては、例えば、人物Bの近傍に表示されるアノテーションマークが採用されてもよい。また、強調画像L121の形状は四角形に限らず円形又は楕円形であってもよいし、実線が採用されてもよい。
The image G11 and the image G12 are composed of moving images in which sensing data acquired by the
また、画像G12おいては、人物Bが動く方向を示す動きベクトル画像L123が強調画像L121に代えて又は加えて表示されてもよい。この場合、表示情報生成部143は、車外センサ112が取得したセンシングデータから抽出した人物Bを示す座標のフレーム間での差分を算出することで動きベクトルを算出し、動きベクトル画像L123を生成すればよい。
Also, in the image G12, a motion vector image L123 indicating the direction in which the person B moves may be displayed instead of or in addition to the emphasized image L121. In this case, the display
また、画像G12においては、人物Bを正面から撮像した画像が表示されているが、これは一例であり、車両1の上方から見たときの車両1周囲の状況を表示する俯瞰画像が採用されてもよい。この場合、車両1の前面、左側面、右側面、及び後面のそれぞれにカメラを車外センサ11として設ける。そして、表示情報生成部143は、これらのカメラで撮像された画像データを用いて俯瞰画像を生成して画像G12として採用すればよい。この俯瞰画像には、車両1周囲の地図画像がマッピングされていてもよい。
Also, in the image G12, an image of the person B captured from the front is displayed, but this is an example, and a bird's-eye view image that displays the situation around the vehicle 1 when viewed from above the vehicle 1 is adopted. may In this case, a camera is provided as an
操作画像G13は、ドア16を開状態に維持するために乗客により選択される「ドア開」と記載された開ボタンB141と、ドア16を開状態から閉状態にするために乗客により選択される「ドア閉」と記載された閉ボタンB142とを備えている。
The operation image G13 includes an open button B141 labeled "door open" selected by the passenger to keep the
開ボタンB141は、画像G11,G12を見た乗客が車両1に乗車しようとする人物が居ると判断した場合に選択されるボタンである。閉ボタンB142は、画像G11,G12を見た乗客が車両1に乗車しようとする人物が居ないと判断した場合に選択されるボタンである。 The open button B141 is a button that is selected when the passenger who has seen the images G11 and G12 determines that there is a person trying to get into the vehicle 1 . The close button B142 is a button that is selected when the passenger who has seen the images G11 and G12 determines that there is no person trying to get into the vehicle 1 .
画像G12には車両1に向かって人物Bが走っていることが示されており、車内の乗客が、画像G12及び目視により確認した車両1周囲の状況から、人物Bは車両1に乗車しようとしていると判断したとする。この場合、この乗客は開ボタンB141を選択する操作を入力する。すると、入出力端末13は、開ボタンB141の選択指示を判断結果として情報処理装置14に送信する。すなわち、開ボタンB141の選択指示は、車両1に乗車しようとする人物が居ると乗客が判断したときの判断結果を示すことになる。
The image G12 shows that the person B is running toward the vehicle 1. From the image G12 and the situation around the vehicle 1 visually confirmed by the passengers in the vehicle, the person B is about to board the vehicle 1. Suppose we decide that there is In this case, the passenger inputs an operation to select the open button B141. Then, the input/
一方、画像G11及び画像G12には人物が含まれているが、この人物は車両1に向けて進行しておらず、画像G11、画像G12、及び、目視により確認した車両1周囲の状況から、車両1に乗りそうな人物でないと車内の乗客が判断したとする。この場合、乗客は閉ボタンB142を選択する操作を入力する。すると、入出力端末13は、閉ボタンB142の選択指示を判断結果として情報処理装置14に送信する。すなわち、閉ボタンB142の選択指示は、車両1に乗車しようとする人物が居ないと乗客が判断したときの判断結果を示すことになる。
On the other hand, the image G11 and the image G12 include a person, but this person is not moving toward the vehicle 1, and from the image G11, the image G12, and the visually confirmed situation around the vehicle 1, Assume that the passengers in the vehicle have decided that the person is not likely to get on the vehicle 1 . In this case, the passenger inputs an operation to select the close button B142. Then, the input/
図4に参照を戻す。S164では、表示情報生成部143は、入出力端末13から送信された提示画像G1に対して乗客が入力した判断結果を、通信部150を介して取得する。判断結果が開ボタンB141の選択指示であれば(S165でYES)、処理はS166に進み、判断結果が閉ボタンB142の選択指示であれば(S165でNO)、処理は図3に戻る。
Refer back to FIG. In S<b>164 , the display
S166では、表示情報生成部143は、車両1の人物の乗車が完了していないため、車両を停車させていることを示す情報を通信部150を介して入出力端末13に送信する。この情報を受信した入出力端末13は、当該情報を示すメッセージを入出力部132に表示する。これにより、車両1が発車しない理由を乗客に知らせることができる。
In S<b>166 , the display
一方、S164において、表示情報生成部143は、乗客よる判断結果を取得しなかった場合(S164でNO)、処理を167に進める。S167では、表示情報生成部143は、発車時刻になってから所定時間が経過したか否かを判定し、所定時間が経過していなければ(S167でNO)、乗客からの判断結果の入力を待機するために処理をS164に戻す。一方、発車時刻になってから所定時間が経過していれば(S167でYES)、処理を図3に戻す。すなわち、本フローは、発車時刻になってから所定時間内に乗客による判断結果の入力がなければ、処理をタイムアウトさせ、いつまでたっても車両1が発車しない事態を回避している。
On the other hand, in S<b>164 , the display
このように、本実施の形態によれば、車両1の周囲の人物を示す画像G11及び画像G12を含む提示画像G1が入出力端末13に表示される。そして、車両1に乗車しようとする人物が居るとの判断結果が車内の乗客によって入力された場合、当該人物が車両1に乗車した後、ドア16が閉じられて車両1が発車される。したがって、本実施の形態は、車両1に乗車しようとしている人物の有無の判断処理について車内の乗客の判断を利用することができ、車両1に乗車しようとする人物の取り残し、又は乗車の安全性を向上させることができる。
As described above, according to the present embodiment, the input/
(提示画像のバリエーション)
続いて、提示画像のバリエーションについて説明する。図6は、本開示の実施の形態1の他の一例に係る提示画像を示す図である。提示画像G2は図4のS163で入出力端末13に表示される画像である。なお、図6において図5に示す提示画像G1と同じ構成要素には同一の符号が付されている。このことは、後述する実施の形態の提示画像でも同じである。
(Variation of presented image)
Next, variations of presentation images will be described. FIG. 6 is a diagram showing a presentation image according to another example of Embodiment 1 of the present disclosure. The presentation image G2 is an image displayed on the input/
提示画像G2において、提示画像G1との相違点は、操作画像G13に代えて操作画像G15が表示されている点にある。操作画像G13はドア16の開閉を車内の乗客に選択させる画像であったが、操作画像G15は車両1に乗車しようとする人物が居るか居ないかを車内の乗客に選択させる画像となっている。なお、操作画像は、車両1の周辺にいる人物が車両1に乗車しそうかどうかを入力させる画像であってもよい。
The presentation image G2 differs from the presentation image G1 in that an operation image G15 is displayed instead of the operation image G13. The operation image G13 is an image for allowing the passengers inside the vehicle to select whether to open or close the
操作画像G15は、車両1に乗車しようとする人物が居ると車内の乗客が判断した場合に選択されるYESボタンB151と、車両1に乗車しようとする人物が居ないと車内の乗客が判断した場合に選択されるNOボタンB152とを備えている。 The operation image G15 includes a YES button B151 selected when a passenger inside the vehicle determines that there is a person trying to get on the vehicle 1, and a YES button B151 selected when the passenger inside the vehicle determines that there is no person trying to get on the vehicle 1. and a NO button B152 that is selected when
このように、提示画像G2は、操作画像G15を備えているため、車内の乗客の操作で間接的に物理的な乗車の制御を行うことができる。これにより、車内の乗客は心理的に乗車させない判断をしにくくなり、ドア16の開閉操作の場合よりも乗車しようとしている人物を乗車させやすくすることができる。そのため、乗車しようとする人物の取り残しを抑制することができる。
Thus, since the presentation image G2 includes the operation image G15, it is possible to indirectly physically control boarding by the operation of the passenger in the vehicle. As a result, it becomes difficult for the passengers in the car to psychologically decide not to let them get on, and it is possible to make it easier for the person who is about to get on to get on than when the
操作画像G15において、YESボタンB151が車内の乗客により選択され、その選択指示が入出力端末13から送信されると、表示情報生成部143は、提示画像G3を入出力端末13に表示させる。提示画像G3は、提示画像G2に対して操作画像G16の内容が異なる。操作画像G16は、車両1を発車させるか否かの判断結果を車内の乗客に入力させる画像である。操作画像G16は、車内の乗客が車両を発車させてもよいと判断した場合に選択されるYESボタンB161と、車内の乗客が車両を発車させないと判断した場合に選択されるNOボタンB162とを備えている。
In the operation image G15, when the YES button B151 is selected by the passenger in the vehicle and the selection instruction is transmitted from the input/
車内の乗客は、画像G11及び画像G12が示す車両1の周囲の状況、並びに窓越しから実際に目視した車両1の状況等を総合的に判断して、車両1に乗車しようとしている人物が車両1の周囲に残っていないと判断した場合、YESボタンB161を選択する。YESボタンB161の選択指示が入出力端末13から送信されると、運行制御部141は、ドア16を閉める制御コマンド及び車両1を走行させる制御コマンドを車両制御部15に送信することで、車両制御部15にドア16を閉じさせた後、車両1を走行させる。
Passengers in the vehicle comprehensively judge the situation around the vehicle 1 shown by the images G11 and G12 and the situation of the vehicle 1 actually viewed through the window, and the like. 1, the user selects the YES button B161. When the selection instruction of the YES button B161 is transmitted from the input/
一方、車両1に乗車しようとしている人物が車両1の周囲に残っていると判断した場合、車内の乗客はNOボタンB162を選択する。NOボタンB162の選択指示が入出力端末13から送信されると、運行制御部141は、ドア16を閉める制御コマンド及び車両1を走行させる制御コマンドを車両制御部15に送信しない。これにより、車両1への乗車が完了しいない人物がいるにも拘わらず、ドア16が閉じて車両1が走行を開始する事態を回避でき、当該人物の安全を確保できる。
On the other hand, when it is determined that the person who is about to board the vehicle 1 remains around the vehicle 1, the passenger in the vehicle selects the NO button B162. When the selection instruction of the NO button B162 is transmitted from the input/
提示画像G4は、提示画像G2の操作画像G15においてNOボタンB152が車内の乗客により選択され、その選択指示が入出力端末13から送信されたときに、表示情報生成部143が入出力端末13に表示させる画像である。
The presentation image G4 is generated by the display
提示画像G4では、提示画像G2に対して操作画像G15に代えて報知欄G17が表示されている点が相違している。報知欄G17は、車両1がバス停での停車時間を延長する旨を車内の乗客に報知するための画像である。ここでは、「乗降の待機中です。」とのメッセージが表示されると共に、「あと30秒」というように、車両が発車するまでの残り時間が表示されている。これにより、車内の乗客はまだ乗降中の人物が残っているため、車両1が発車しないことを認識すると共に、あとどのくらいの時間待機すれば車両1が発車するかを知ることができる。 The presentation image G4 is different from the presentation image G2 in that a notification column G17 is displayed instead of the operation image G15. The notification column G17 is an image for notifying passengers in the vehicle that the vehicle 1 will extend the stop time at the bus stop. Here, the message "Waiting for boarding and alighting" is displayed, and the remaining time until the vehicle departs is displayed, such as "30 seconds left". As a result, the passengers in the vehicle can recognize that the vehicle 1 will not start because there are still persons getting on and off, and can know how much longer the vehicle 1 will have to wait.
ここで、提示画像G2の操作画像G15においてNOボタンB152が選択されると、運行制御部141は、予め定められた所定時間(例えば、30秒、1分等)、車両1の停車時間を延長する。そして、所定時間経過すると、表示情報生成部143は、提示画像G3を入出力端末13に表示させる。そして、提示画像G3において、YESボタンB161が車内の乗客により選択されると、運行制御部141は、ドア16を閉じた後、車両1を発車させればよい。一方、提示画像G3において、NOボタンB162が車内の乗客により選択されると、運行制御部141は、ドア16を開けた状態での車両1の停車を継続させればよい。なお、提示画像G3を表示してから所定時間が経過するまでに、YESボタンB161及びNOボタンB162のいずれもが選択されなかった場合、運行制御部141は、車両1の周囲に乗車しようとする人物が残っていないことを確認した後、ドア16を閉じて車両1を発車させればよい。
Here, when the NO button B152 is selected in the operation image G15 of the presentation image G2, the
(実施の形態1の変形例)
以下、実施の形態1の変形例が説明される。なお、これらの変形例は後述の実施の形態にも適用可能である。
(Modification of Embodiment 1)
Modifications of the first embodiment will be described below. It should be noted that these modified examples are also applicable to embodiments described later.
(1)上記説明では、入出力端末13は1つであるとしたが、本開示はこれに限定されず、複数であってもよい。この場合、例えば、ある乗客は車両1に乗車しようとする人物は居ないとの判断結果を入力したのに対して、別の乗客は車両1に乗車しようとする人物は居るとの判断結果を入力するというように、複数の乗客による判断結果が異なることが想定される。この場合、少なくとも1人の乗客が車両1に乗車しようとする人物が居るとの判断結果を入力した場合は、運行制御部141は、その判断結果を採用し、車両1の停車を継続させればよい。これにより、安全が確保される。
(1) In the above description, the number of input/
なお、複数の入出力端末13を設ける態様としては、例えば、図5に示す提示画像G1のうち画像G11及び画像G12を車内先頭付近に設けられた大画面ディスプレイに表示し、各座席1aに設けられた入出力端末13には操作画像G13のみを表示させる態様が採用できる。
In addition, as a mode in which a plurality of input/
(2)上記説明では、図3のS15において、車内に乗客が存在しない場合(S15でNO)、乗客判断処理は実行されないとして説明したが、本開示はこれに限定されず、外部者に判断を委ねてもよい。ここで、外部者とは、例えば車両1を遠隔から監視及び制御する監視者である。この場合、車両1を監視及び制御するための監視サーバが別途設けられ、この監視サーバを車両1と通信可能に接続させる。また、監視サーバは、ディスプレイ及び入力装置が設けられた端末と接続される。端末のディスプレイには、車外センサ11が取得したセンシングデータに基づき生成される提示情報が表示される。監視サーバが車両1から車内に乗客が存在しない旨の通知を受けると、監視サーバはアラーム等を鳴らすなどして、監視者にその旨を伝える。
(2) In the above description, in S15 of FIG. 3, if there is no passenger in the vehicle (NO in S15), the passenger determination process is not executed. may entrust Here, the outsider is, for example, an observer who remotely monitors and controls the vehicle 1 . In this case, a monitoring server for monitoring and controlling the vehicle 1 is separately provided, and this monitoring server is connected to the vehicle 1 so as to be communicable. Also, the monitoring server is connected to a terminal provided with a display and an input device. Presentation information generated based on the sensing data acquired by the
監視者は、端末のディスプレイに表示される提示情報を確認し、車両1に乗車しようとする人物がいないと判断すれば、その判断結果を端末の入力装置を介して入力する。入力された判断結果は、監視サーバに送信され、監視サーバは、通信を介して車両1に発車指示を通知し、車両1を発車させる。一方、監視者は、車両1に乗車しようとする人物がいると判断すれば、その判断結果を端末の入力装置を介して入力する。入力された判断結果は、監視サーバに送信され、監視サーバは、通信を介して車両1に待機指示を通知し、車両1の停車を継続させればよい。これにより、車内に乗客が居ない場合であっても、車両1に乗車しようとする人物を取り残すことなく安全に乗車させることができる。 The supervisor confirms the presentation information displayed on the display of the terminal, and if it determines that there is no person trying to get into the vehicle 1, inputs the determination result through the input device of the terminal. The input determination result is transmitted to the monitoring server, and the monitoring server notifies the vehicle 1 of a start instruction via communication, and causes the vehicle 1 to start. On the other hand, if the observer judges that there is a person who is going to board the vehicle 1, the observer inputs the judgment result through the input device of the terminal. The input determination result is transmitted to the monitoring server, and the monitoring server notifies the vehicle 1 of a standby instruction via communication, and the vehicle 1 may continue to stop. As a result, even when there are no passengers in the vehicle, a person who is going to get on the vehicle 1 can be safely boarded without being left behind.
(3)上記説明では、提示画像は入出力端末13に表示されるものとして説明したが、本開示はこれに限定されず、例えば、プロジェクションマッピング等の技術を適用して車両1の窓に提示画像は表示されてもよい。この場合、入出力端末13又は車内の適所にプロジェクタを設け、窓に提示画像を表示させればよい。
(3) In the above description, the presentation image is displayed on the input/
(4)図4のS166では、人物の乗車が完了していないため、車両を停車させていることを示すメッセージが入出力端末13の画面上に表示されるとして説明したが、本開示はこれに限定されず、当該情報を示す音声メッセージが車内にアナウンスされてもよい。
(4) In S166 of FIG. 4, a message indicating that the vehicle is stopped is displayed on the screen of the input/
(5)上記説明では、運行制御部141は、乗客の判断結果によってドア16の開閉を制御するとしたが、本開示はこれに限定されない。例えば、バス停に開閉可能なドアを備えるホーム柵が設けられているのであれば、運行制御部141は、このホーム柵に設けられたドアの開閉を、判断結果に応じて制御してもよい。この場合、車両1とホーム柵のプロセッサとを通信可能に接続させればよい。そして、車両1の情報処理装置14とホーム柵のプロセッサとは通信を介して種々のデータを送受すればよい。
(5) In the above description, the
(6)上記説明では、提示情報はセンシングデータに基づく情報であると説明したが、停車位置における過去の乗車制御結果又は乗車制御時のセンシングデータに基づく情報が含まれてもよい。例えば、提示情報は、過去に乗車のために待機制御が実行された停車位置であることを示す情報、又は当該待機制御が実行された時の画像もしくは当該画像に対する画像処理結果を含んでもよい。 (6) In the above description, the presentation information is information based on sensing data, but may include information based on past boarding control results at the stop position or sensing data during boarding control. For example, the presentation information may include information indicating a stop position where standby control was performed for boarding in the past, an image when the standby control was performed, or an image processing result for the image.
(実施の形態2)
実施の形態2は、車両1に乗車しようとしている人物が居るか否かの判断結果を入力した乗客に対してインセンティブ(特典)を付与するものである。ここでは、インセンティブとして、例えば、クレジットカード、マイレッジカード、乗車カード、及びキャッシュカード等のポイントカードに付与されるポイントが採用される。
(Embodiment 2)
図7は、実施の形態2に係る情報処理装置14が適用された車両管理システムの構成を示すブロック図である。なお、本実施の形態において実施の形態1と同一の構成要素には同一の符号を付して説明を省略する。このことは後述する実施の形態でも同じである。
FIG. 7 is a block diagram showing the configuration of a vehicle management system to which the
車両管理システムは、車両1に加えて更に、サーバ2、外部サーバ3、及び乗客端末4を備えている。サーバ2及び乗客端末4は車両1と通信可能に接続され、外部サーバ3はサーバ2と通信可能に接続されている。
The vehicle management system further includes a
乗客端末4(通信端末の一例)は、例えば、スマートフォン及びタブレット端末等の携帯端末で構成され、車内の乗客によって所持される。乗客端末4は、所定の通信路を介して入出力端末13と通信可能に接続される。ここで、所定の通信路としては、NFC及びブルーツース(登録商標)等の近接無線が採用できる。但し、これは一例であり、所定の通信路としては、無線LANが採用されてもよい。
A passenger terminal 4 (an example of a communication terminal) is configured by a mobile terminal such as a smart phone and a tablet terminal, and is carried by a passenger in the vehicle. The passenger terminal 4 is communicably connected to the input/
サーバ2は、1又は複数のコンピュータで構成され、インターネット通信網及び携帯電話通信網等の広域通信ネットワークを介して情報処理装置14と通信可能に接続されている。サーバ2は、通信部21及びプロセッサ22を備える。通信部21は、サーバ2を広域通信ネットワークに接続する通信回路で構成されている。
The
プロセッサ22は、操作者特定部221(特定部の一例)及びインセンティブ付与部222を備えている。操作者特定部221は、車両1に乗車しようとしている人物が居るか否かの判断結果を入力した車内の乗客を特定する。
The
ここで、乗客端末4は、車内の乗客による判断結果の入力の受け付けに先だって、乗客端末4を所持する乗客のユーザ識別子を含む特定依頼を入出力端末13に送信する。ここで、特定依頼は、乗客がサーバ2に対して自己を特定してもらうための依頼である。
Here, the passenger terminal 4 transmits, to the input/
入出力端末13は、この特定依頼を情報処理装置14を介してサーバ2に送信する。操作者特定部221は、この特定依頼に含まれるユーザ識別子を乗客として特定する。操作者特定部221は、乗客を特定すると、特定した乗客に対する判断結果の入力を許可する入力許可を情報処理装置14に送信する。
The input/
情報処理装置14が入力許可を受信すると、表示情報生成部143は、乗客に判断結果を入力させる操作画像を含む提示画像を入出力部132に表示させる。
When the
インセンティブ付与部222は、操作者特定部221によって特定された乗客に対してインセンティブを付与する。ここで、インセンティブ付与部222は、特定された乗客に対して所定のポイントをインセンティブとして付与するための依頼通知を通信部21を介して外部サーバ3に送信する。依頼通知には、付与するポイント及びユーザ識別子が含まれる。
The
外部サーバ3は、例えば、インセンティブの付与対象となるポイントカードの管理会社によって管理されるサーバである。外部サーバ3は、ポイントカードを所持する1以上の顧客のユーザ識別子と、各顧客が所持するポイントとを対応付けて記憶する顧客データベースを備えている。したがって、外部サーバ3は、サーバ2から依頼通知を受信すると、その依頼通知に含まれるユーザ識別子をキーにして、顧客データベースに記憶されている当該乗客のポイントを依頼通知に含まれるポイント分加算することで、当該乗客にポイントを付与する。
The external server 3 is, for example, a server managed by a point card management company to which incentives are given. The external server 3 has a customer database that associates and stores the user identifiers of one or more customers who possess point cards and the points possessed by each customer. Therefore, when receiving the request notification from the
図8は、実施の形態2に係る乗客判断処理を示すフローチャートである。なお、図8において、図4と同じ処理には同じ符号を付して説明を省く。 FIG. 8 is a flow chart showing passenger determination processing according to the second embodiment. In FIG. 8, the same processing as in FIG. 4 is denoted by the same reference numeral, and the description thereof is omitted.
S162に続くS171では、表示情報生成部143は、乗客に特定依頼を送信させるための提示画像を生成し、入出力端末13に表示させる。この場合、例えば、図9で後述する提示画像G5が表示される。この提示画像G5を用いて乗客端末4から特定依頼が送信される。
In S171 following S162, the display
S172では、サーバ2の操作者特定部221は、S171で送信された特定依頼を入出力端末13及び情報処理装置14を介して取得し、取得した特定依頼に含まれるユーザ識別子を用いて当該乗客を特定する。なお、操作者特定部221は、乗客を特定した場合、特定できた旨を示す情報を情報処理装置14に送信する。
In S172, the
S173では、表示情報生成部143は、特定できた旨を示す情報がサーバ2から送信されると、乗客に判断結果を入力させる操作画像を含む提示画像を生成し、入出力端末13に表示される。この場合、例えば、図9で後述する提示画像G1が表示される。この提示画像G1を用いて、実施の形態1と同様、乗客により判断結果が入力され、処理はS164に進められる。
At S<b>173 , the display
S165のYESに続くS174では、インセンティブ付与部222は、S172で特定された乗客に対してインセンティブを付与し、処理をS166に進める。また、S165のNOに続くS175でも、インセンティブ付与部222は、S172で特定された乗客は、閉じるの判断結果を入力したため、当該乗客に対してインセンティブを付与し、処理を図3に戻す。
In S174 following YES in S165, the
図9は、実施の形態2において入出力端末13に表示される提示画像の一例を示す図である。提示画像G5は図8のS171で入出力端末13に表示される画像である。提示画像G5において、提示画像G1との相違点は、操作画像G13に代えてQRコード(登録商標)の表示欄G18が表示されている点にある。表示欄G18には、乗客が乗客端末4を用いてサーバ2にアクセスするためのQRコードが表示されている。判断結果の入力に先だって、乗客は乗客端末4にQRコードを読み取らせる。すると、乗客端末4は、乗客をサーバ2に特定させるための特定依頼を入出力端末13及び情報処理装置14を介してサーバ2に送信する。そして、サーバ2の操作者特定部221により乗客が特定されて特定された旨の通知が情報処理装置14に送信されると、表示情報生成部143は、提示画像G1を入出力端末13に表示させる。この提示画像G1は図5で示した提示画像G1と同じである。
FIG. 9 is a diagram showing an example of a presentation image displayed on input/
この提示画像G1を用いて、乗客により、開ボタンB141又は閉ボタンB142が選択されると、入出力端末13は、いずれか一方のボタンの選択指示を乗客の判断結果として情報処理装置14に送信し、情報処理装置14は、判断結果の入力の完了通知をサーバ2に送信する。サーバ2が完了通知を受信すると、インセンティブ付与部222は、外部サーバ3にポイント付与の依頼通知を送信すると共に、ポイントが付与されたことを示す付与通知を情報処理装置14に送信する。この付与通知を情報処理装置14が受信すると、表示情報生成部143は、ポイント付与を乗客に通知するための提示画像G6を生成し、入出力端末13に表示させる。
When the passenger selects the open button B141 or the close button B142 using this presentation image G1, the input/
提示画像G6には、表示欄R61が含まれている。表示欄R61は、ポイントが付与された旨を乗客に通知するためのメッセージが含まれている。ここでは、「ご協力ありがとうございました10ポイントを付与しましたのでご確認ください。」とのメッセージが表示欄R61に表示されている。これにより、判断結果を入力した乗客はポイントが付与されたことを認識できる。 The presentation image G6 includes a display field R61. The display field R61 contains a message for notifying passengers that points have been awarded. Here, the message "Thank you for your cooperation, 10 points have been given, please confirm." is displayed in the display field R61. As a result, the passenger who has entered the judgment result can recognize that points have been given.
このように、本実施の形態によれば、判断結果を入力した人物にインセンティブが付与されるので、判断結果を入力する動機付けを乗客に付与することができ、判断結果がいつまでたっても入力されない事態を回避できる。 As described above, according to the present embodiment, since the incentive is given to the person who has input the judgment result, the passenger can be motivated to input the judgment result, and the judgment result is not inputted for a long time. You can avoid the situation.
(実施の形態2の変形例)
以下、実施の形態2の変形例が説明される。なお、これらの変形例は前述及び後述の実施の形態にも適用可能である。
(Modification of Embodiment 2)
Modifications of the second embodiment will be described below. It should be noted that these modifications are also applicable to the embodiments described above and below.
(1)上記説明では、乗客端末4から特定依頼を送信させることで、乗客が特定されたが本開示はこれに限定されず、画像から人物が特定されてもよい。この場合、入出力端末13にカメラ(図略)を設け、判断結果の入力に先だってカメラに乗客の顔を撮影させればよい。この場合、図9に示す提示画像G5に撮影ボタンを設け、撮影ボタンを乗客に押させることで入出力端末13に乗客の顔を撮影させればよい。撮影された乗客の顔の画像データは入出力端末13から情報処理装置14を介してサーバ2に送信され、サーバ2の操作者特定部221は、この画像データを用いて乗客を特定すればよい。
(1) In the above description, the passenger is identified by transmitting the identification request from the passenger terminal 4, but the present disclosure is not limited to this, and the person may be identified from the image. In this case, the input/
(2)上記説明では、QRコードを乗客端末4に読み取らせた場合、特定依頼は乗客端末4から入出力端末13及び情報処理装置14を介してサーバ2に送信されたが、本開示はこれに限定されない。例えば、QRコードを乗客端末4に読み取らせた場合、特定依頼は乗客端末4からサーバ2に直接送信されてもよい。
(2) In the above description, when the QR code is read by the passenger terminal 4, the specific request is transmitted from the passenger terminal 4 to the
(3)上記説明では、サーバ2と外部サーバ3とは別のサーバであるとして説明したが、外部サーバ3の機能はサーバ2が備えていてもよい。この場合、サーバ2が各乗客が所持するポイントを管理することになる。
(3) In the above description, the
(4)上記説明では、判断結果を入力した乗客に対してポイントを付与するとして説明したが、本開示はこれに限定されず、ポイントカードとして乗車カードが採用されるのであれば、車両1の運賃をディスカウントする態様が採用されてもよい。また、商品券等のクーポンを乗客に付与する態様が採用されてもよい。この場合、乗客に後日、クーポンが郵送される態様が採用されてもよいし、百貨店等のカードに電子的にクーポンを記録する態様が採用されてもよい。 (4) In the above description, points are given to passengers who have input the judgment result. A form of discounting the fare may be adopted. Moreover, the mode which gives a coupon, such as a gift certificate, to a passenger may be employ|adopted. In this case, a mode in which the coupon is mailed to the passenger at a later date may be adopted, or a mode in which the coupon is electronically recorded on a card at a department store or the like may be adopted.
(5)上記説明では、提示画像は、入出力端末13に表示されるものとして説明したが、本開示はこれに限定されず、提示画像は乗客端末4に表示されてもよい。この場合、乗客は自己の乗客端末4から判断結果を入力できるので、当該入力を容易に行うことができる。
(5) In the above description, the presentation image is displayed on the input/
(実施の形態3)
車内に複数の入出力端末13が設置される態様が採用された場合、複数の乗客により判断結果が入力されることが想定される。この場合、乗客に応じて判断結果が相違すると、どの乗客の判断結果を採用するべきかが困難となる。そこで、実施の形態3は、車内の乗客の中から1人の乗客を特定し、その乗客に判断結果を入力させる。なお、本実施の形態では、入出力端末13は、複数の座席1aに対応して複数設けられているものとする。
(Embodiment 3)
When a mode in which a plurality of input/
図10は、実施の形態3に係る情報処理装置14が適用された車両1の構成を示すブロック図である。本実施の形態において、実施の形態1との相違点は、プロセッサ140に更に特定部144が設けられ、且つ、メモリ170が情報処理装置14に設けられている点にある。
FIG. 10 is a block diagram showing the configuration of vehicle 1 to which
メモリ170は例えば、半導体メモリで構成され、入力履歴171を記憶する。入力履歴171は、判断結果を入力した乗客のユーザ識別情報と、判断結果の正否と、判断結果の入力日時とを対応付けて記憶する。ユーザ識別情報としては、例えば、車内センサ12が取得したセンシングデータから抽出された判断結果を入力した乗客を示す画像の特徴量が採用されればよい。
The
表示情報生成部143は、乗客により判断結果が入力されると車内センサ12が取得したセンシングデータから当該判断結果を入力した乗客を特定する。この場合、表示情報生成部143は、判断結果が入力された入出力端末13の設置位置に対応するセンシングデータの座標を特定し、その座標に対して最も近くに位置する乗客を判断結果を入力した乗客として特定すればよい。
When a judgment result is input by a passenger, the display
そして、表示情報生成部143は、判断結果が入力されてから車両1が発車するまでに車内センサ12で取得されたセンシングデータを分析することで、当該判断結果の正否を判断すればよい。例えば、表示情報生成部143は、乗車しそうな人物が居るとの判断結果が入力された場合、入力後、車両1が発車するまでのセンシングデータから乗車した人物が検出できなかった場合、当該判断結果の正誤を「誤」と判定し、センシングデータから乗車人物が検出できた場合、当該判断結果の正誤を「正」と判定する。
Then, the display
一方、表示情報生成部143は、乗車しそうな人物が居ないとの判断結果が入力された場合、入力後、車両1が発車するまでのセンシングデータから乗車した人物を検出できなかった場合、当該判断結果の正誤を「正」と判定し、乗車した人物を検出できた場合、当該判断結果の正誤を「誤」と判定する。そして、表示情報生成部143は、判断結果を入力した乗客のユーザ識別情報と、判断結果の正誤を示す情報(「正」又は「誤」)と、入力日時とを対応付けて入力履歴171に記憶する。
On the other hand, if the display
ここでは、入力履歴171は、車両1が今回の運行スケジュールにしたがって運行を開始してからの乗客の判断結果の正誤を記憶するものとする。但し、これは一例であり、入力履歴17は、今回の運行スケジュールによる判定結果の正誤のみならず、車両1が過去に運行したときの乗客の判断結果の正誤を記憶するものであってもよい。
Here, it is assumed that the
特定部144は、車内センサ12が取得したセンシングデータを通信部150を介して取得し、取得したセンシングデータ及び入力履歴171を用いて判断結果を入力する1人の乗客を特定する。以下、特定される1人の乗客を特定乗客と記述する。
The specifying
例えば、特定部144は、発車時刻になって特定乗客の特定タイミングが到来すると、車内センサ12が取得したセンシングデータを用いて現在、車内に居る乗客を抽出する。この場合、特定部144は、バス停に降車しようとする乗客は抽出する乗客から省けばよい。そして、特定部144は、抽出した乗客の判断結果の正誤を入力履歴171から読み出し、判断結果の正誤が「正」である数が最も多い乗客を特定乗客として特定すればよい。
For example, when the departure time comes and the specific timing for the specific passenger arrives, the identifying
ここで、判断結果の正誤が「正」である数が最も多い乗客が複数居た場合、特定部144は、(1)乗車口の近い方に着座している乗客を特定乗客として特定してもよいし、(2)窓側に着座している乗客を特定乗客として特定してもよいし、(3)年齢に基づいて特定乗客を特定してもよい。(1)、(2)を採用する理由は、乗車口の近くに着座する乗客又は窓側に座っている乗客は乗車口に駆け寄ってくる人物が視認し易いという考えに基づいている。したがって、乗車口の近くに着座する乗客に判断結果を入力する権限を付与することで、判断結果の信頼性を高めることができる。 Here, if there are a plurality of passengers with the largest number of “correct” judgment results, the identification unit 144 (1) identifies the passenger seated closer to the boarding gate as the specific passenger. Alternatively, (2) the passenger seated on the window side may be specified as the specific passenger, or (3) the specific passenger may be specified based on age. The reason for adopting (1) and (2) is based on the idea that a passenger sitting near the boarding gate or a passenger sitting on the window side can easily see a person running towards the boarding gate. Therefore, the reliability of the judgment result can be improved by giving the authority to input the judgment result to the passenger seated near the boarding gate.
(3)の態様を採用する場合、例えば、判断結果に信頼のおける年代の乗客が優先的に特定乗客として特定される手法が採用されればよい。例えば、幼児及び子供であれば、ふざけて判断結果を入力する可能性が高い。また、老人であれば、老化によって認知能力が低下していることもあり、誤った判断結果を入力する可能性が高い。したがって、信頼のおける年代としては、例えば、15歳~60歳が採用できる。(3)の態様を採用する場合、特定部144は、車内センサ12のセンシングデータに含まれる各乗客の画像の特徴量から各乗客の年齢を推定すればよい。
When adopting the aspect (3), for example, a method of preferentially specifying as a specific passenger a passenger of a reliable age in the determination result may be adopted. For example, infants and children are more likely to playfully enter judgment results. Also, in the case of an elderly person, there is a high possibility of inputting an erroneous judgment result, partly because cognitive ability has deteriorated due to aging. Therefore, for example, 15 to 60 years old can be adopted as a reliable age. When adopting the aspect (3), the
なお、入力履歴171が車両1の運行開始直後は入力履歴171には判断結果の正誤が記憶されていない。この場合、特定部144は、車内の乗客の中からランダムに1の乗客を特定乗客として特定してもよいし、(1)~(3)の態様を用いて特定乗客を特定してもよい。
Note that the
ここでは、特定部144は、まず、入力履歴171を参照して特定乗客を特定するとして説明したが、本開示はこれに限定されず、入力履歴171を参照せずに、上記の(1)~(3)のいずれかの1つの態様を用いて特定乗客を特定してもよいし、(1)~(3)の態様を組み合わせて特定乗客を特定してもよい。(1)~(3)の態様を組み合わせる場合、(1)~(3)の態様の各々について評価値を算出し、各評価値の合計値が最も高い乗客が特定顧客として特定されればよい。
Here, the
図11は、実施の形態3に係る乗客判断処理を示すフローチャートである。なお、図11において、図4と同じ処理には同じ符号を付して説明を省く。 FIG. 11 is a flow chart showing passenger determination processing according to the third embodiment. In FIG. 11, the same processing as in FIG. 4 is given the same reference numerals and the description thereof is omitted.
S162に続くS181では、特定部144は、入力履歴171及びセンシングデータを用いて、判断結果を入力する特定乗客を特定する。
In S181 following S162, the identifying
S182では、表示情報生成部143は、特定乗客に対応する入出力端末13を特定し、その入出力端末13に対してのみ提示画像を表示させる。ここで、対応する入出力端末13とは、特定乗客が着座する座席1aの前列の座席1aの背面、又は、特定乗客が着座する座席1aの近くのパイプ1bに取り付けられた入出力端末13が採用される。
In S182, the display
これにより、特定乗客のみが判断結果を入力することが可能となる。そして、特定乗客が提示画像に対して判断結果を入力すると、図4で説明したS164以降の処理が実行される。 This allows only the specific passenger to input the judgment result. Then, when the specific passenger inputs the determination result for the presentation image, the processes after S164 described with reference to FIG. 4 are executed.
このように、本実施の形態によれば、特定乗客として特定された乗客のみが判断結果を入力することができるので、例えば、過去の判断結果から信頼性の高い乗客に判断を委ねることができ、判断の信頼性を高めることができる。 As described above, according to the present embodiment, only the passenger specified as the specific passenger can input the judgment result. , can increase the reliability of judgment.
(実施の形態3の変形例)
(1)図11のS182では、特定乗客に対応する入出力端末13にのみ提示画像を表示するとして説明したが、本開示はこれに限定されない。例えば、全ての入出力端末13に提示画像を表示させ、特定乗客の判断結果の入力のみを受け付ける態様が採用されてもよい。この場合、特定部144は、予め特定乗客の画像の特徴量を入出力端末13に送信しておく。そして、入出力端末13は、カメラによって提示画像を操作する乗客を撮影し、撮影した乗客の画像の特徴量と予め送信された特定乗客の画像の特徴量とを照合することで、操作した乗客が特定乗客であるか否かを判定する。そして、入出力端末13は、特定乗客と判定した場合、その乗客からの操作を受け付け、特定乗客と判断しなかった場合、その乗客からの操作を受け付けなければよい。
(Modification of Embodiment 3)
(1) In S182 of FIG. 11, the presentation image is displayed only on the input/
(2)図11のS182では、特定乗客が所持する乗客端末4に提示画像を表示させてもよい。この場合、情報処理装置14のメモリ170には事前に特定乗客の乗客端末4の通信アドレスが記憶されているものとする。情報処理装置14は、例えば、乗車時に乗客に対してユーザ登録を課すことでメモリ170に乗客端末4の通信アドレスを記憶させればよい。
(2) In S182 of FIG. 11, the presentation image may be displayed on the passenger terminal 4 possessed by the specific passenger. In this case, it is assumed that the
(実施の形態4)
実施の形態4は、車両1のプロセッサ140が実行していた処理をサーバ2で実行させるものである。図12は、実施の形態4に係る情報処理装置14が適用された車両管理システムの構成を示すブロック図である。
(Embodiment 4)
Embodiment 4 causes the
図12において、図7との相違点は、情報処理装置14からプロセッサ140が省かれ、プロセッサ140が備えていた運行制御部141、車内乗客検出部142、及び表示情報生成部143をサーバ2に設けた点にある。 In FIG. 12, the difference from FIG. It is at the established point.
具体的には、サーバ2のプロセッサ22は、図7に示す操作者特定部221及びインセンティブ付与部222に加えて、運行制御部223、車内乗客検出部224、及び表示情報生成部225を備える。これらのブロックの詳細は上述した実施の形態のものと同じである。
Specifically, the
具体的には、通信部150は、車外センサ11及び車内センサ12のそれぞれが取得したセンシングデータをサーバ2に送信し、サーバ2の通信部21は、センシングデータを受信する。そして、運行制御部223、車内乗客検出部224、及び表示情報生成部225は、それぞれ、通信部21が受信したセンシングデータを用いて各種の処理を実行する。また、表示情報生成部225は、生成した提示画像を通信部21を用いて車両1に送信させることで、入出力端末13に提示画像を表示させる。また、運行制御部223は、種々の制御コマンドを通信部21を用いて車両1に送信することで、車両1の動作を制御する。また、入出力端末13に入力された乗客の判断結果は、通信部150を介してサーバ2に送信され、運行制御部223は、この判断結果に応じてドア16の開閉を制御する。
Specifically, the
このように、本実施の形態では、情報処理装置14の機能をサーバ2に設けた場合であっても、上述した実施の形態と同じ効果が得られる。
As described above, in this embodiment, even if the functions of the
本開示は、ドライバーレスの自動運転車を利用したライドシェアサービスにとって有用である。 INDUSTRIAL APPLICABILITY The present disclosure is useful for ride-sharing services using driverless self-driving vehicles.
1 :車両
2 :サーバ
3 :外部サーバ
4 :乗客端末
11 :車外センサ
12 :車内センサ
13 :入出力端末
14 :情報処理装置
15 :車両制御部
16 :ドア
131 :通信部
132 :入出力部
140 :プロセッサ
141 :運行制御部
142 :車内乗客検出部
143 :表示情報生成部
144 :特定部
150 :通信部
170 :メモリ
171 :入力履歴
221 :操作者特定部
222 :インセンティブ付与部
G1,G2,G3,G4,G5,G6 :提示画像
L121 :強調画像
L123 :動きベクトル画像
1 : Vehicle 2 : Server 3 : External Server 4 : Passenger Terminal 11 : Exterior Sensor 12 : Interior Sensor 13 : Input/Output Terminal 14 : Information Processing Device 15 : Vehicle Control Unit 16 : Door 131 : Communication Unit 132 : Input/Output Unit 140 : Processor 141 : Operation control unit 142 : In-vehicle passenger detection unit 143 : Display information generation unit 144 : Identification unit 150 : Communication unit 170 : Memory 171 : Input history 221 : Operator identification unit 222 : Incentive provision unit G1, G2, G3 , G4, G5, G6: presentation image L121: enhanced image L123: motion vector image
Claims (13)
前記第1センシングデータに基づいて提示情報を生成し、前記車両内に存在する提示装置に前記提示情報を提示させる提示制御部と、
前記車両内に存在する入力装置を介して前記提示情報の提示に対する入力データを取得する第2取得部と、
前記第2取得部が取得した前記入力データに応じて、前記車両への人の乗車を制御する乗車制御部と、を備え、
前記提示制御部は、前記第1センサにより撮影された動画像であって前記車両に乗車しようとする人を含む前記動画像を含む前記提示情報を前記提示装置に表示する、
情報処理装置。 A first acquisition unit that acquires first sensing data from a first sensor that senses an object outside the vehicle of automatic operation ;
a presentation control unit that generates presentation information based on the first sensing data and causes a presentation device present in the vehicle to present the presentation information;
a second acquisition unit that acquires input data for presentation of the presentation information via an input device present in the vehicle;
a boarding control unit that controls boarding of a person on the vehicle according to the input data acquired by the second acquisition unit ;
The presentation control unit displays, on the presentation device, the presentation information including the moving image captured by the first sensor and including a person about to board the vehicle.
Information processing equipment.
前記入力データは、操作画像に対する操作を示す操作データを含み、
前記提示制御部は、前記操作画像を生成する
請求項1記載の情報処理装置。 The presentation information includes an image,
the input data includes operation data indicating an operation on the operation image;
The information processing apparatus according to claim 1, wherein the presentation control section generates the operation image.
前記乗車制御部は、前記操作データが示す操作に応じてドアを制御させる
請求項2記載の情報処理装置。 The operation image includes an image for operating the entrance door of the vehicle,
The information processing apparatus according to claim 2, wherein the boarding control unit controls the door according to the operation indicated by the operation data.
前記乗車制御部は、前記操作データが示す操作に応じて前記車両の乗車口のドアを制御させる
請求項2又は3に記載の情報処理装置。 The operation image includes an image for selecting whether or not there is a person trying to get on the vehicle,
The information processing apparatus according to claim 2 or 3, wherein the boarding control unit controls a boarding door of the vehicle according to the operation indicated by the operation data.
請求項2~4のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 2 to 4, wherein the presentation information includes the moving image that emphasizes a person who is about to board the vehicle .
請求項2~5のいずれか1項に記載の情報処理装置。 6. The information processing apparatus according to any one of claims 2 to 5, wherein the presentation information includes the moving image showing movement of a person trying to get on the vehicle .
前記第2センシングデータを用いて前記車両内の人を特定する特定部を更に備え、
前記提示制御部は、特定された前記人に前記提示情報を提示させる
請求項1~6のいずれか1項に記載の情報処理装置。 The first acquisition unit further acquires second sensing data from a second sensor attached to the vehicle for sensing inside the vehicle,
further comprising an identification unit that identifies a person in the vehicle using the second sensing data;
The information processing apparatus according to any one of claims 1 to 6, wherein the presentation control section causes the identified person to present the presentation information.
請求項7記載の情報処理装置。 The information processing apparatus according to Claim 7, wherein the identifying unit identifies a person from a history of the input data.
前記第2センシングデータを用いて前記車両内に人がいるか否かを判定する判定部を更に備え、
前記提示制御部は、前記判定部が前記車両内に前記人がいると判定した場合に前記提示情報を提示させる
請求項1~8のいずれか1項に記載の情報処理装置。 The first acquisition unit further acquires second sensing data from a second sensor attached to the vehicle for sensing inside the vehicle,
Further comprising a determination unit that determines whether there is a person in the vehicle using the second sensing data,
The information processing apparatus according to any one of claims 1 to 8, wherein the presentation control section causes the presentation information to be presented when the determination section determines that the person is present in the vehicle.
特定された前記人にインセンティブを付与するインセンティブ付与部と、を更に備える
請求項1~9のいずれか1項に記載の情報処理装置。 an operator identification unit that identifies a person who has made an input to the input device;
The information processing apparatus according to any one of claims 1 to 9, further comprising an incentive granting unit that grants an incentive to the specified person.
前記第2取得部は、前記通信端末から通信を介して前記入力データを取得する
請求項1~10のいずれか1項に記載の情報処理装置。 The input device includes a communication terminal carried by a person in the vehicle and communicating with the information processing device,
The information processing apparatus according to any one of claims 1 to 10, wherein the second acquisition unit acquires the input data from the communication terminal via communication.
前記第2取得部は、前記提示情報を前記通信端末に送信し、
前記通信端末は、送信された前記提示情報を提示する
請求項1~11のいずれか1項に記載の情報処理装置。 The presentation device includes a communication terminal carried by a person in the vehicle and communicating with the information processing device,
The second acquisition unit transmits the presentation information to the communication terminal,
The information processing apparatus according to any one of claims 1 to 11, wherein the communication terminal presents the transmitted presentation information.
自動運転の車両の外の物体をセンシングする第1センサから第1センシングデータを取得し、
前記第1センシングデータに基づいて提示情報を生成し、前記車両内に存在する提示装置に前記提示情報を提示させ、
前記車両内に存在する入力装置を介して前記提示情報の提示に対する入力データを取得し、
前記入力データに応じて、前記車両への人の乗車を制御するための制御情報を出力し、
前記提示では、前記第1センサにより撮影された動画像であって前記車両に乗車しようとする人物を含む前記動画像を含む前記提示情報を前記提示装置に表示する、
情報処理方法。 the computer
Acquiring first sensing data from a first sensor that senses an object outside the autonomous vehicle;
generating presentation information based on the first sensing data, causing a presentation device present in the vehicle to present the presentation information;
Acquiring input data for presentation of the presentation information via an input device present in the vehicle;
outputting control information for controlling boarding of a person in the vehicle according to the input data;
In the presentation, the presentation information including the moving image captured by the first sensor and including a person about to board the vehicle is displayed on the presentation device.
Information processing methods.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/552,529 US11455835B2 (en) | 2018-08-30 | 2019-08-27 | Information processing apparatus and information processing method |
CN201910793695.6A CN110874077B (en) | 2018-08-30 | 2019-08-27 | Information processing apparatus and information processing method |
EP19193788.7A EP3617941A1 (en) | 2018-08-30 | 2019-08-27 | Information processing apparatus and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018161784 | 2018-08-30 | ||
JP2018161784 | 2018-08-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020038608A JP2020038608A (en) | 2020-03-12 |
JP7265404B2 true JP7265404B2 (en) | 2023-04-26 |
Family
ID=69738123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019081257A Active JP7265404B2 (en) | 2018-08-30 | 2019-04-22 | Information processing device and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7265404B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7491241B2 (en) | 2021-03-08 | 2024-05-28 | トヨタ自動車株式会社 | CONTROL DEVICE, SYSTEM, VEHICLE, AND CONTROL METHOD |
JP7480770B2 (en) | 2021-12-22 | 2024-05-10 | トヨタ自動車株式会社 | Vehicle image processing device and vehicle |
JP7226597B1 (en) * | 2022-01-17 | 2023-02-21 | いすゞ自動車株式会社 | door open/close controller |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295267A (en) | 2005-04-06 | 2006-10-26 | Navitime Japan Co Ltd | Information distribution system, communication terminal, and operating program therefor |
JP2017024652A (en) | 2015-07-27 | 2017-02-02 | トヨタ自動車株式会社 | Vehicular seat control device |
JP2017076324A (en) | 2015-10-16 | 2017-04-20 | 株式会社デンソー | Display controller and vehicle controller |
WO2018037954A1 (en) | 2016-08-26 | 2018-03-01 | ソニー株式会社 | Moving object control device, moving object control method, and moving object |
JP2018073351A (en) | 2016-11-04 | 2018-05-10 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
JP2018133015A (en) | 2017-02-17 | 2018-08-23 | コガソフトウェア株式会社 | Operation information production server, operation information production method, and operation information production program |
-
2019
- 2019-04-22 JP JP2019081257A patent/JP7265404B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295267A (en) | 2005-04-06 | 2006-10-26 | Navitime Japan Co Ltd | Information distribution system, communication terminal, and operating program therefor |
JP2017024652A (en) | 2015-07-27 | 2017-02-02 | トヨタ自動車株式会社 | Vehicular seat control device |
JP2017076324A (en) | 2015-10-16 | 2017-04-20 | 株式会社デンソー | Display controller and vehicle controller |
WO2018037954A1 (en) | 2016-08-26 | 2018-03-01 | ソニー株式会社 | Moving object control device, moving object control method, and moving object |
JP2018073351A (en) | 2016-11-04 | 2018-05-10 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
JP2018133015A (en) | 2017-02-17 | 2018-08-23 | コガソフトウェア株式会社 | Operation information production server, operation information production method, and operation information production program |
Also Published As
Publication number | Publication date |
---|---|
JP2020038608A (en) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110874077B (en) | Information processing apparatus and information processing method | |
JP7265404B2 (en) | Information processing device and information processing method | |
CN110103878B (en) | Method and device for controlling unmanned vehicle | |
EP3041775B1 (en) | Elevator dispatch using facial recognition | |
JP5191658B2 (en) | Elevator control device | |
KR101869391B1 (en) | Intelligent parking management system | |
JP7110996B2 (en) | Vehicle information processing device and vehicle information processing method | |
JP7020560B2 (en) | Notification device, notification control device, notification system, notification method and program | |
CN109311622B (en) | Elevator system and car call estimation method | |
WO2020157531A1 (en) | Boarding permission determination device and boarding permission determination method | |
JP5403526B2 (en) | Elevator group management control system | |
JP2020077166A (en) | Vehicle and vehicle operation method | |
KR101757750B1 (en) | Unified notice method for congestion information of subway | |
JP7294538B2 (en) | building traffic control system | |
JP2021039582A (en) | Guidance system, information processing device, guidance method, and program | |
KR101815885B1 (en) | Traffic information system for visual handicapped person, method for controlling thereof and recording medium for performing the method | |
JP7430080B2 (en) | Management devices, management methods, and programs | |
JP2018169802A (en) | Information processing device, information processing system, information processing method, and program | |
JP7448682B2 (en) | Automatic door device, display control device, display control method, and display control program | |
JP7438800B2 (en) | Management devices, management methods, and programs | |
KR102085645B1 (en) | Passenger counting system and method | |
JP7327560B1 (en) | elevator group control system | |
US20220207577A1 (en) | Shared vehicle and method of controlling the same | |
JP7312635B2 (en) | Vehicle authentication method and vehicle authentication device | |
JP5737752B2 (en) | Image display system, image display apparatus, image display method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7265404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |