WO2020003749A1 - 客室監視方法、及び客室監視装置 - Google Patents
客室監視方法、及び客室監視装置 Download PDFInfo
- Publication number
- WO2020003749A1 WO2020003749A1 PCT/JP2019/018476 JP2019018476W WO2020003749A1 WO 2020003749 A1 WO2020003749 A1 WO 2020003749A1 JP 2019018476 W JP2019018476 W JP 2019018476W WO 2020003749 A1 WO2020003749 A1 WO 2020003749A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cabin
- actor
- passengers
- vehicle
- passenger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or train for signalling purposes
- B61L15/0081—On-board diagnosis or maintenance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
- H04M11/04—Telephonic communication systems specially adapted for combination with other electrical systems with alarm systems, e.g. fire, police or burglar alarm systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Definitions
- the present disclosure relates to a technology for monitoring a passenger cabin of a vehicle on which a passenger is boarded.
- Patent Literature 1 when information about criminal activity such as molestation is transmitted from a mobile phone carried by a passenger in a vehicle such as a train, a predetermined alarm device is displayed and announced in the vehicle.
- An in-vehicle alarm system is disclosed.
- a predetermined message using a voice output device is announced to all the passengers in the vehicle.
- the present disclosure has an object to provide a guest room monitoring method and a guest room monitoring device capable of suppressing a specific action while suppressing annoyance caused by a stop request and securing the comfort of a guest room.
- a cabin monitoring method implemented by a computer for monitoring a cabin of a vehicle on which a plurality of passengers are traveling includes, on at least one processor, an individual notification capable of individually notifying each of the passengers.
- a presentation device is associated with each of the passengers on board the cabin, one of the passengers who is an actor of a specific act assumed in advance is certified, and the individual presentation device associated with the actor is used. Requesting the actor to stop the specific act.
- a cabin monitoring device mounted on a vehicle and monitoring a cabin of the vehicle on which a plurality of passengers board is provided, the cabin monitoring device includes an individual presentation device capable of individually reporting to the individual passengers, Using an associating unit for associating with each of the passengers on board, an act certifying unit that certifies one of the passengers who is an actor of a specific act assumed in advance, and the individual presentation device associated with the actor. A notification control unit for requesting the actor to stop the specific action.
- a cabin monitoring device mounted on a vehicle and monitoring a cabin of the vehicle on which a plurality of passengers are boarding includes a processor.
- the processor associates an individual presentation device capable of individually notifying each of the passengers with each of the passengers in the cabin, and certifies one of the passengers who is an actor of a specific act assumed in advance. Using the individual presentation device associated with the actor, requesting the actor to stop the specific act.
- the drawing is a block diagram showing an overall image of a system including a vehicle-mounted unit according to the first embodiment of the present disclosure, It is a diagram illustrating a scene where manners violation has occurred, It is a diagram illustrating a scene where an act leading to a crime has occurred, It is a flowchart showing the details of the process of associating a portable terminal as an individual presentation device to each passenger in the cabin, FIG.
- FIG. 9 is a flowchart illustrating details of a notification process performed by the mobile terminal for transmission of the occurrence notification; It is a diagram showing an example of the first half of the input screen of the occurrence notification displayed on the display of the mobile terminal, It is a diagram showing an example of the second half of the input screen, It is a diagram showing the details of the order maintenance process performed in the vehicle-mounted unit, It is a block diagram showing the whole picture of the cabin monitoring system including the in-vehicle unit and operation management computer by a second embodiment of the present disclosure.
- the function of the cabin monitoring device according to the first embodiment of the present disclosure is realized by the in-vehicle unit 100 illustrated in FIG.
- the on-vehicle unit 100 is an on-vehicle computer mounted on the vehicle ADV.
- the vehicle ADV shown in FIGS. 1 and 2 is an autonomous driving bus capable of autonomous driving without driving operation by a driver, and is a connected car capable of communicating with a communication network NW outside the vehicle.
- the vehicle ADV is provided with a passenger compartment C in which passengers P can be boarded, for example, up to a predetermined capacity (about several to several tens). In the cabin C, a large number of seats for seating the passenger P are installed.
- the vehicle ADV includes a cabin sensor 30, a passenger recognition unit 32, a card reader 35, an external communication device 40, an internal communication device 50, a monitor 51, a speaker 52, a red light 53, and the like together with the vehicle-mounted unit 100.
- the cabin sensor 30 is a sensor for grasping the situation of the passenger P in the cabin C.
- a plurality of guest room sensors 30 are installed on the ceiling of the guest room C, for example, and have a camera 31 and a microphone 33.
- the camera 31 photographs the cabin C and the passenger P, and sequentially outputs the generated cabin image to the passenger recognition unit 32 and the on-vehicle unit 100.
- the camera 31 is combined with a wide-angle lens, and is installed in a cabin so as not to form a blind spot.
- the camera 31 may have a configuration capable of detecting near-infrared light in addition to visible light, or may be combined with a laser scanner or the like.
- the microphone 33 sequentially outputs the cabin sound that has detected the sound of the cabin C to the in-vehicle unit 100.
- the microphone 33 can collect, for example, conversation between the passengers P.
- the passenger recognition unit 32 analyzes the cabin image generated by the camera 31 and recognizes the state of each passenger P.
- the passenger recognition unit 32 can grasp the posture of each passenger P and actions such as movement, sitting, and leaving. Specifically, the passenger recognition unit 32 detects a target such as the passenger P and an object (such as a large baggage) from the cabin image, and tags the coordinates, the type, and the like for each recognized target.
- a target such as the passenger P and an object (such as a large baggage) from the cabin image
- information such as the front seat right side, the rear seat left side, and (X, Y) are input.
- the type item information such as large luggage, individual passenger ID, and the like is input.
- the passenger recognition unit 32 sequentially outputs detection information including the target number, the coordinates, the type, and the like to the vehicle-mounted unit 100.
- the card reader 35 is installed, for example, near the entrance of the guest room C.
- the card reader 35 is a device capable of near field communication (Near ⁇ Field ⁇ Communication) between the transportation card and the portable terminals 10a to 10c having the card function.
- the card reader 35 receives terminal-specific identification information (hereinafter, “terminal ID”) from each transportation card and each of the mobile terminals 10a to 10c.
- the card reader 35 is connected to the payment system 41 via the external communication device 40 and the communication network NW.
- the usage fee of the vehicle ADV mobility service
- the card reader 35 can provide the traffic card or the portable terminals 10a to 10c or the attribute information of each passenger P stored in the settlement system 41 to the vehicle-mounted unit 100 or the like.
- the external communication device 40 is capable of wireless communication with an external communication network NW.
- a system of an operation management center of the vehicle ADV hereinafter, “management center 42”
- a system of a security company hereinafter, “security center 43”
- the external communication device 40 transmits and receives information to and from the settlement system 41, the management center 42, and the security center 43.
- the in-vehicle communicator 50 is capable of transmitting and receiving information to and from each of the portable terminals 10a to 10c brought into the passenger compartment C by the passenger P, for example, by wireless communication conforming to the Bluetooth (registered trademark) standard.
- the in-vehicle communicator 50 can individually transmit a message to any of the portable terminals 10a to 10c.
- the in-vehicle communication device 50 may be connected to each of the mobile terminals 10a to 10c by a communication standard different from Bluetooth, for example, a wireless LAN.
- the monitor 51, the speaker 52, and the red lamp 53 are installed in the cabin, and present information to the passenger P in the cabin C.
- the monitor 51 is, for example, a liquid crystal display or the like, and displays advertisements, news, operation information of the vehicle ADV, alert information, and the like on a screen.
- the speaker 52 reproduces a voice message for the passenger P in the passenger cabin.
- the red light 53 is disposed, for example, at the center of the ceiling of the vehicle ADV (see FIG. 3). The red light 53 flashes when a later-described annoying act (criminal act) or the like occurs, and notifies the passenger P of the occurrence of an emergency or abnormal situation.
- the on-vehicle unit 100 shown in FIG. 1 monitors the passenger P in the cabin C and performs control for maintaining order in the vehicle. Such functions of the on-vehicle unit 100 substitute the roles of a driver and a conductor in a manned vehicle, a railway vehicle, and the like.
- the in-vehicle unit 100 may be a manner that violates manners as a minor annoying act, an act that may cause a crime as a severe annoying act (hereinafter, a “criminal act”), and an injured person and a suddenly sick person (hereinafter, a “needs rescue”). To deal with the occurrence of
- annoying acts detected as violations of manners include loud conversations, mobile phone calls, dirty room C, sound leaks from earphones and headphones, and seats with large luggage as shown in FIG. Occupation etc. is included.
- the harassment act detected as a criminal act includes, for example, destruction of vehicle facilities, molestation, theft, and ranting and violence to other passengers P as shown in FIG.
- the on-vehicle unit 100 shown in FIG. 1 mainly includes a processor 61, a RAM 62, a memory device 63, and a control circuit having an input / output interface.
- the processor 61 is hardware for arithmetic processing combined with the RAM 62, and can execute various programs.
- the memory device 63 has a configuration including a nonvolatile storage medium, and stores various programs executed by the processor 61.
- the program stored in the memory device 63 includes at least a cabin monitoring program that causes the in-vehicle unit 100 to perform the cabin monitoring described above.
- the execution of the cabin monitoring program by the processor 61 causes the in-vehicle unit 100 to implement functional units such as the associating unit 71, the status certifying unit 72, and the notification control unit 73.
- the associating unit 71 associates the portable terminals 10a to 10c possessed by the passengers P in the cabin C on the data by the associating process (see FIG. 4). By such an association process, each of the mobile terminals 10a to 10c is registered as an individual presentation device 20 capable of giving an individual notification to the individual passenger P who is the owner.
- the associating unit 71 acquires the terminal ID of each of the mobile terminals 10a to 10c through the card reader 35 in accordance with the payment of the fee at each of the mobile terminals 10a to 10c when each passenger P gets on the vehicle ADV. (FIG. 4 S101). At this time, the associating unit 71 individually grasps the passengers P appearing in the cabin image based on the detection information acquired from the passenger recognizing unit 32. The associating unit 71 refers to the timing at which the terminal IDs of the mobile terminals 10a to 10c are obtained, the attribute information of the passengers P, and the like, and assigns the mobile terminals 10a to 10c to each passenger P (target number or passenger ID) reflected in the passenger compartment video. Is associated with the terminal ID (FIG. 4, S102). The associating unit 71 maintains a state in which each of the mobile terminals 10a to 10c is linked to each of the passengers P at least until the passengers P get off.
- the associating unit 71 can add information of attribute items (such as priority or not) to each target based on the attribute information acquired from the card reader 35 and the guest room video. For example, a passenger P with a higher age indicated by the attribute information is registered as a priority person. Further, when a passenger P using the white cane WC is detected (see FIG. 2), the passenger P is registered as a priority person. Further, a target such as luggage may be linked to a passenger ID indicating the owner.
- attribute items such as priority or not
- the situation recognition unit 72 recognizes the situation of the cabin C, and performs a specific action assumed in advance, that is, specifies the above-mentioned manner violation act and criminal act, and certifies the passenger P who is the actor Ph of the act. .
- the situation recognition unit 72 together with the cabin sensor 30 and the passenger recognition unit 32, and the like, constructs a passenger watching system.
- the situation recognition unit 72 combines the detection information of the cabin sensor 30 with the occurrence notification transmitted from the passenger P who is in the cabin C, and specifies the inconvenience or the like and certifies the actor Ph. More specifically, the situation recognition unit 72 acquires the room sound output from the microphone 33 and the room image output from the camera 31 in addition to the detection information of the camera 31 analyzed by the passenger recognition unit 32. The situation recognition unit 72 grasps the tone, volume, range, and conversation speed after excluding private information from the conversation content included in the cabin audio in advance, and also determines the behavior (gesture etc.) of the passenger P in the cabin video. Figure out. The situation recognition unit 72 estimates the content of the annoying act and the actor Ph by combining these pieces of acquired information. The analysis of the guest room audio and the guest room image may be performed statistically and stochastically using AI (Artificial @ Intelligence) technology.
- AI Artificial @ Intelligence
- the occurrence notification is transmitted to the in-vehicle unit 100 by the passenger P (notifier Pi) who has found the nuisance in the cabin C.
- the notifier Pi finds out a nuisance in the cabin C
- the notifier Pi can transmit an occurrence notification using the mobile terminal 10b, a user terminal installed in the vehicle ADV, a notification button, and the like.
- the notifier Pi activates the inconvenience notification application by tapping the icon IC of the inconvenience notification application installed in advance on the personal mobile terminal 10b.
- the nuisance notification application requests the notifier Pi to input the type of the nuisance and the position of the actor Ph, and to attach a photograph (still image or moving image) of the nuisance (see FIGS. 6 and 7).
- attachment of a site photo may be optional.
- the mobile terminal 10b starts the notification process illustrated in FIG. 5 and performs a start process of the annoying notification application (S121).
- the mobile terminal 10b establishes communication with the in-vehicle unit 100 using Bluetooth or the like (S122), and performs a login process to the in-vehicle unit 100 (S123).
- the GPS information, the terminal ID, and the like are transmitted from the portable terminal 10b to the vehicle unit 100.
- the in-vehicle unit 100 permits the log-in of the mobile terminal 10b based on the position information of the mobile terminal 10b and the identification of the terminal ID.
- the mobile terminal 10b After logging in to the in-vehicle unit 100, the mobile terminal 10b presents the input screen ES (see FIGS. 6 and 7) on the display (S124).
- the input screen ES requests the notifier Pi to select a type of the annoying activity or the like, attach a site image, and input a place where the annoying activity occurs.
- Types of annoying acts and the like are classified in advance into items such as etiquette violations, crimes, and occurrence of rescuers (see list in FIG. 6).
- a list of selection buttons for harassment and the like included in each item is displayed.
- the notifier Pi selects the trouble actually occurring in the cabin C by tapping the selection button displayed on the input screen ES. Furthermore, the notifier Pi can use the camera 31 of the mobile terminal 10b to attach a photograph of the site of the inconvenience or the like as evidence (see FIG. 3). In addition, the notifier Pi selects a place where the annoying act or the like has occurred on the selection screen imitating the floor plan of the guest room C (see FIG. 7).
- the mobile terminal 10b displays the type of the inconvenience, the position of the actor Ph, the site photo, the notifier ID (terminal ID of the notifier Pi), and the like.
- the notification is transmitted to the in-vehicle unit 100 as an occurrence notification (S125), and the notification process ends.
- the passenger P who does not have a portable terminal may be able to input the above information using the above-described user terminal in the vehicle.
- the notifier Pi After transmitting the above-mentioned occurrence notification, the notifier Pi is requested by the on-vehicle unit 100 to determine whether or not the nuisance has occurred.
- the notifier Pi can transmit, to the in-vehicle unit 100, the notification of the end of the previously-notified nuisance by operating the mobile terminal 10b or the in-car user terminal. It is desirable that transmission of such an end notice can be performed by a simple operation such as a single tap operation.
- the situation authentication unit 72 illustrated in FIG. 1 specifies an annoying act and authenticates the actor Ph. Specifically, when receiving the occurrence notification from the notifier Pi, the situation authentication unit 72 analyzes the room image and the room sound around the occurrence position of the annoyance or the like based on the position information indicated by the occurrence notification. When it is determined that the content of the action recognized from the guest room video and the guest room voice matches with the notified content with a high probability (the score exceeds the threshold), the situation recognition unit 72 determines that an annoying act or the like has occurred. To certify. In addition, the situation authentication unit 72 can determine the end of the nuisance or the like based on the end notification from the notifier Pi who has input the occurrence notification.
- the notification control unit 73 performs an actuation in accordance with the type of the annoying activity or the like that is occurring, when the situation identifying unit 72 determines that the annoying activity or the like is occurring. Specifically, the notification control unit 73 appropriately performs manner notification and warning to the actor Ph, notification to the management center 42, the security center 43, a police agency, and the like, and storage of room images and room sounds.
- the notification control unit 73 constructs an in-vehicle order maintenance system together with the above-described passenger watching system and the various components (50 to 53) for actuation.
- the notification control unit 73 requests the actor Ph to stop the manner violation using the mobile terminal 10c associated with the actor Ph as the individual presentation device 20.
- a notification message prepared in advance is presented to the actor Ph by the mobile terminal 10c. Specifically, "Please refrain from making phone calls in the car. Thank you for your cooperation.”, "Please consider the surrounding volume when talking.” "Be careful of sound leaks from mobile devices.” And the like are displayed on the display of the mobile terminal 10c.
- the suspension request may be presented by a voice message.
- the notification control unit 73 requests the notifier Pi to confirm whether the manner violation has been improved.
- the notification control unit 73 upon the termination of the inconvenience by the situation identification unit 72 based on the notification of termination by the notifier Pi, issues a request to stop the manners violation using the mobile terminal 10c (individual presentation device 20). Terminate. Then, the notification control unit 73 causes a message such as “Thank you for your cooperation” to be displayed on the display of the terminal. According to such processing, an increase in annoyance due to continuous useless notification can be suppressed.
- the notification control unit 73 changes the method of the suspension request to the actor Ph from the case of the manner violation. Using the speaker 52 and the red lamp 53, the notification control unit 73 directly requests the offender Ph to stop the criminal act.
- the notification control unit 73 calls out a rescue request of the rescuer to the passengers P around the rescuer using the speaker 52 or the like. Further, the notification control unit 73 makes the operator of the management center 42 and the notifier Pi communicable so that the situation inside the vehicle can be confirmed by video or audio. As described above, important decisions are left to the external operator.
- S141 a process of receiving the occurrence notification is performed, and the process proceeds to S142.
- S142 it is determined whether or not the occurrence notification in S141 has been received. By repeating S141 and S142, reception of the occurrence notification is awaited, and when the occurrence notification is transmitted from the notifier Pi, the process proceeds from S142 to S143.
- S143 the type of the occurrence notification received in S141 is determined.
- the process proceeds to S144.
- S144 the content of the occurrence notification is collated with the content of the detection information of the cabin sensor 30, and the process proceeds to S145.
- S145 it is determined whether or not the contents of the occurrence notification and the detection information match as a result of the collation in S144. If it is determined in S145 that the contents of the information do not match, it is estimated that the occurrence notification is a false notification or a mischief notification, and the order maintenance process is temporarily terminated. In this case, for example, a message may be displayed on the monitor 51 of the cabin C without specifying the actor Ph, and only the actuation toward the entire passenger may be performed.
- the process proceeds to S146.
- S146 based on the position information of the actor Ph indicated in the notification of occurrence and the analysis result of the guest room video, the actor Ph of the nuisance is recognized, and the process proceeds to S147.
- S147 a request is made to stop the harassment using the individual presentation device 20 (mobile terminal 10c) associated with the actor Ph recognized in S146, and the process proceeds to S148.
- a message may be displayed on the monitor 51 before the cancellation request by the individual presentation device 20. In this case, it is desirable that notification by voice using the speaker 52 is not performed because the other passengers P tend to feel troublesome.
- S148 a request is made to the notifier Pi for confirmation of the improvement of the nuisance through the mobile terminal 10b, and the process proceeds to S149.
- S149 the reception of the end notification is awaited by determining whether or not the end notice has been received by the notifier Pi. If it is determined in S149 that the end notification has been received, the process proceeds to S150.
- S150 the suspension request to the actor Ph using the individual presentation device 20 is terminated, and the order maintaining process is terminated.
- the process proceeds to S151.
- S151 and S152 as in S144 and S145, the content of the occurrence notification is compared with the content of the detection information of the cabin sensor 30, and it is determined whether the content of the occurrence notification and the detection information match each other. judge.
- the information does not match, for example, without specifying the actor Ph, only a caution for the entire guest room, such as displaying a message on the monitor 51, is executed, and the order maintaining process ends.
- step S152 if it is determined in step S152 that the contents of the occurrence notification and the detection information match, the process proceeds to step S153.
- a crime time process is executed. Specifically, in the crime processing, an alarm is issued to the guest room C, a call is made to the management center 42, a report is sent to the police agency and the security center 43, an actor Ph is specified, and a room image and a guest room voice around the actor Ph are recorded. And so on.
- S154 an emergency process is performed. More specifically, in the emergency processing, the management center 42 is called, a voice call connection is made between the operator of the management center 42 and the notifier Pi, a call is made to the person requiring rescue, identification of the ID information of the person requiring rescue, and Contact with family members, emergency services, and medical personnel.
- the on-vehicle unit 100 receives the occurrence notification from the notifier Pi who has found the occupation of the seat by the large baggage (S141), and occupies the seat with the large baggage from the guest room image. Is detected (S144, S145). As a result, the in-vehicle unit 100 recognizes the owner of the large luggage as an actor Ph of manners violation (S146).
- the vehicle-mounted unit 100 can specify the situation where the priority person cannot sit and the situation where the general person (non-priority person) is using the priority seat together. Become.
- the in-vehicle unit 100 may send a message such as “please carry your luggage on your lap when crowded so that more people can sit” or “Please give priority seat.” It is displayed on the display of the Ph mobile terminal 10c (S147).
- the in-vehicle unit 100 receives the occurrence notification by the notifier Pi who has encountered the rant or violence of the passenger P (S141). Then, when detecting abuse and violence from the guest room image and the guest room sound (S144, S145), the vehicle-mounted unit 100 specifies the occurrence of a highly criminal criminal act and sends a warning in the vehicle. For example, the red light 53 blinks, and the speaker 52 reproduces voice messages such as "Suspicious criminal activity. Record the inside of the car. Report to the police.
- the on-vehicle unit 100 stores the ID information (terminal ID and / or passenger ID) of the actor Ph in association with the cabin image and the on-site photograph, and stores at least a part of these data in the management center 42. And sends it to the security center 43.
- each portable terminal 10b is individually associated with each passenger P as the individual presentation device 20. Therefore, when the actor Ph of the harassment is recognized, the individual presentation device 20 (portable terminal 10c) associated with the actor Ph requests the suspension of the harassment. Therefore, it is difficult for the passengers P other than the actor Ph to feel annoying to present the request to stop the harassment. According to the above, it is possible to suppress annoying acts while suppressing the trouble caused by the stop request. Therefore, the comfort of the guest room C is easily ensured.
- the occurrence of the nuisance and the actor Ph are determined based on the occurrence notification from the passenger P in the cabin C. Therefore, a nuisance that other passengers P feel annoying around the actor Ph is likely to be a target of alerting by the order maintenance system. Therefore, the comfort of the guest room C can be secured with high certainty.
- the occurrence of the nuisance and the actor Ph are recognized. That is, the alert for the specific passenger P is not performed only by the occurrence notification.
- the actor Ph of the nuisance can be specified with high accuracy, a request to stop the wrong content, a request to stop the wrong passenger P, and the like hardly occur.
- the in-vehicle unit 100 of the first embodiment can acquire the terminal ID of the mobile terminal 10b that has transmitted the occurrence notification together with the occurrence notification. In this manner, if the system configuration is such that information that can specify the notification person Pi of the occurrence notification remains, transmission of the occurrence notification by the mischief can be reduced. As a result, the execution of an erroneous stop request can be suppressed, and the situation in which the introduction of the order keeping system impairs the comfort of the guest room C is less likely to occur.
- the suspension request to the actor Ph is terminated based on the termination notification by the notifier Pi who has input the occurrence notification. According to the above, it is possible to avoid a situation in which a troublesome alert is continued due to a slight annoying act. As a result, a well-intentioned actor Ph who has been inadvertently targeted for a cancellation request is less likely to feel discomfort.
- the method of requesting the actor Ph to stop is changed according to the type of annoying act or the like.
- a minor inconvenience such as a manner violation by alerting the passenger individually without bothering the surrounding passengers P.
- prompt attention can be given to priority by implementing strong alerts.
- the situation recognition unit 72 corresponds to an “action recognition unit”
- the vehicle unit 100 corresponds to a “computer”.
- the second embodiment of the present disclosure illustrated in FIG. 9 is a modified example of the first embodiment.
- the cabin monitoring system 210 is configured by the on-vehicle unit 100, the operation management computer 200, and the like.
- the cabin monitoring system 210 monitors the passenger P in the cabin C and performs control for maintaining order in the vehicle.
- the in-vehicle unit 100 and the operation management computer 200 cooperate with each other to execute substantially the same order maintaining process as in the first embodiment (see FIG. 8).
- the vehicle-mounted unit 100 causes the processor 61 to execute the vehicle-side cabin monitoring program stored in the memory device 63 in the second embodiment.
- the in-vehicle unit 100 is provided with the notification control unit 73 substantially the same as in the first embodiment.
- the notification control unit 73 follows the instruction of the operation management computer 200 and responds to the type of the annoyance or the like that is occurring. Perform actuation.
- the operation management computer 200 is installed in the management center 42 and is connected to each vehicle unit 100 of each vehicle ADV via the communication network NW.
- the operation management computer 200 mainly includes a processor 261, a RAM 262, a memory device 263, and a control circuit having an input / output interface.
- the processor 261 is hardware for large-scale arithmetic processing combined with the RAM 262, and can execute various programs.
- the memory device 263 has a configuration including a non-volatile storage medium, and stores various programs executed by the processor 261.
- the operation management computer 200 causes the processor 261 to execute the center side guest room monitoring program stored in the memory device 263.
- a communication control unit 274 is mounted in addition to the association unit 71 and the status recognition unit 72 substantially the same as those in the first embodiment.
- the associating unit 71 performs an associating process (see FIG. 4) as in the first embodiment. Specifically, the associating unit 71 acquires the terminal ID read by the card reader 35 at the time of paying the fare of each passenger P through the external communication device 40 and the communication network NW. Further, the associating unit 71 acquires the detection information from the passenger recognition unit 32 through the external communication device 40 and the communication network NW. The associating unit 71 remotely links the terminal ID to the passenger ID of each passenger P reflected in the guest room image, and registers each of the mobile terminals 10a to 10c as the individual presentation device 20 of each passenger P.
- the status recognition unit 72 remotely recognizes the status of the guest room C, specifies an annoying act or the like, and certifies the actor Ph of the act.
- the situation recognition unit 72 acquires the detection information by the passenger recognition unit 32, the cabin sound of the microphone 33 and the cabin image of the camera 31, the occurrence notification and the end notification by the notifier Pi, and the like through the external communication device 40 and the communication network NW.
- the situation certifying unit 72 analyzes the guest room video and the guest room sound, and when it is determined that the mutual contents are substantially the same, the occurrence of an annoying act and the actor And Ph.
- the communication control unit 274 transmits the type of the inconvenience or the like occurring in the cabin C and the information indicating the actor Ph to the in-vehicle unit 100 through the communication network NW and the external communication device 40.
- the portable terminal 10b of the person Ph of the manner violation acts as the individual presentation device 20, and displays a message calling for the manner improvement to the person Ph.
- the communication control unit 274 notifies the security center 43 and the police organization when a criminal act is suspected or a rescuer is required.
- the in-vehicle unit 100 and the operation management computer 200 both correspond to a “computer” and a “cabin monitoring device”.
- the situation recognition unit determines the actor not only when the occurrence notification is received by the notifier but also when the occurrence of the manner violation is estimated from the room audio and the room image. Authorize and perform individual actuations for the actors.
- the on-vehicle unit according to the first modification can suppress the continuation of the manners violation even without the occurrence notification from the passenger.
- the in-vehicle unit analyzes the behavior of the passenger in the passenger cabin using the recognition technology even if there is no notification of occurrence from the passenger, and notifies the management center when a criminal act is detected with a high probability.
- the first modification even when a passenger who is troubled by etiquette and criminal acts does not have a portable terminal, it is possible to quickly recover the comfort of the passenger compartment.
- both the image recognition and the voice recognition need not be used for the situation recognition in the guest room.
- the state of the guest room may be estimated by only one of the image recognition and the voice recognition.
- the type of the specific act targeted for the suspension request is not limited to the manners violation and the criminal acts exemplified in the above embodiment.
- the type of the specific action may be appropriately changed according to, for example, an area (country) in which the vehicle is operated, a tendency of the user, a time zone, and the like.
- items included in manners violation and criminal acts may be changed as appropriate.
- a serious annoying act that may cause a crime is defined as a “criminal act”. Specifically, an act that could be determined to be a crime in the light of criminal law in a future trial and that was at the stage of the allegation at the time of occurrence was detected as a "criminal act.” However, severe annoyances that are not legally punished may also be detectable as "criminals.” In addition, the saved site photos and guest room images, etc., are effective evidences for legally confirming criminal acts in the above court. Further, in the above-described embodiment, the stop request using the individual presentation device is performed only when there is a manner violation among the specific acts. However, even in the case of a criminal act, an individual suspension request using the portable terminal of the offender as an individual presentation device may be performed. The change of the stop request according to the type of the specific action does not have to be performed.
- a terminal ID capable of specifying a notifier is transmitted together with the generated communication in order to suppress a mischief notification.
- emphasis is placed on anonymity, and identification information for identifying a mobile terminal such as a terminal ID may not be attached to the occurrence notification.
- the portable terminal of each passenger was used as an individual presentation device.
- the configuration that can be used as the individual presentation device is not limited to the portable terminal.
- a vibration device or a monitor device individually installed on the seat surface of each seat may function as an individual presentation device that individually alerts the user to a manner violation.
- a stop request may be issued only to a specific passenger who is an actor.
- the cabin configuration such as a monitor and a speaker used to alert passengers may be changed as appropriate.
- frequent reminders are likely to cause annoyance to passengers. Therefore, when the in-vehicle unit issues the alert using the monitor and the speaker, the alert using these may not be performed for a certain period of time.
- the notifier of the occurrence notification has a role of transmitting the end notification.
- confirmation of improvement of manners violation may be performed by another passenger.
- improvement of manner violations may be confirmed based on the analysis result of the guest room video and the guest room audio.
- the mobile terminal transmits an occurrence notification or the like to the operation management computer through the communication network instead of the in-vehicle communication device. Is also good.
- the scene in which a manner violation request is stopped based on one occurrence notification has been described.
- a scene in which a plurality of occurrence notifications presumed to have the same content are received may be estimated.
- the vehicle-mounted unit may determine whether or not each of the occurrence notifications indicates a manner violation, The act may be treated as an annoying act and a strong warning issued.
- the in-vehicle unit immediately executes a warning using the speaker without performing individual alerting. Further, when six or more occurrence notifications are received, the in-vehicle unit immediately executes a notification to the management center or the like.
- vehicles to which the watching system and the in-vehicle order maintenance system can be applied are not limited to unmanned buses, and may be manned vehicles.
- the monitoring system and the in-vehicle order maintenance system described above may be applied to a railway vehicle, an articulated bus, and the like in which it is difficult for the driver to monitor the entire passenger compartment.
- the on-vehicle unit and the operation management computer have been exemplified as the computer that executes the cabin monitoring method of the present disclosure.
- the processing related to such a cabin monitoring method may be executed in a distributed manner by a cabin management system including both an in-vehicle unit and an operation management computer, in cooperation with both computers.
- computers that execute the cabin monitoring method are not limited to these computers.
- a plurality of on-vehicle electronic control units may perform distributed processing of the cabin monitoring program.
- the operation management computer installed in the management center may process substantially all operations of the cabin monitoring program.
- each function provided by each control circuit of the on-vehicle unit and the operation management computer can be provided by software and hardware for executing the software, only software, only hardware, or a combination thereof. It is. Furthermore, when such functions are provided by electronic circuits that are hardware, each function can also be provided by digital circuits or analog circuits that include a number of logic circuits.
- the specific configuration of the processor that executes the data processing related to the cabin monitoring program and the instructions and codes may be changed as appropriate.
- the processor may have a configuration including a GPU (Graphics Processing Unit) in addition to a CPU (Central Processing Unit).
- the processor may include an FPGA (Field-Programmable Gate Array) and an accelerator (for example, a DSP (Digital Signal Processor) or the like) specialized in learning and inference of the AI technology.
- the processor may be configured to be mounted on an FPGA, an ASIC (Application Specific Integrated Circuit), or the like.
- various non-transitory tangible storage media such as a flash memory and a hard disk can be adopted as the memory device.
- the form of such a storage medium may be appropriately changed.
- the storage medium may be in the form of a memory card or the like, and may be inserted into a slot provided in a computer and electrically connected to a control circuit.
- the storage medium is not limited to the above-described memory device such as an in-vehicle device, but may be an optical disk serving as a base for copying a program to the memory device or a hard disk drive of a general-purpose computer.
- control unit and the technique according to the present disclosure are realized by a dedicated computer provided by configuring a processor and a memory programmed to execute one or a plurality of functions embodied by a computer program. May be done.
- control unit and the technique described in the present disclosure may be implemented by a dedicated computer provided by configuring a processor with one or more dedicated hardware logic circuits.
- control unit and the method described in the present disclosure may be implemented by a combination of a processor and a memory programmed to perform one or more functions and a processor configured by one or more hardware logic circuits. It may be realized by one or more dedicated computers configured.
- the computer program may be stored in a computer-readable non-transitional tangible recording medium as instructions to be executed by a computer.
- each section is expressed as, for example, S121. Further, each section can be divided into multiple subsections, while multiple sections can be combined into one section. Further, each section configured in this manner can be referred to as a device, module, or means.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Telephonic Communication Services (AREA)
Abstract
コンピュータ(100,200)によって実施され、複数の乗客(P)が搭乗する車両(ADV)の客室(C)を監視する客室監視方法は、少なくとも一つのプロセッサ(61,261)上において、個々の前記乗客に対する個別の報知が可能な個別提示装置(20)を、前記客室に搭乗中の前記乗客のそれぞれに関連付けし(S102)、予め想定された特定行為の行為者(Ph)である前記乗客の一人を認定し(S146)、前記行為者に関連付けられた前記個別提示装置を用いて、前記特定行為の中止を前記行為者に対して要求する(S147)ことを含む。
Description
本出願は、2018年6月26日に出願された日本特許出願番号2018-120955号に基づくもので、ここにその記載内容を援用する。
本開示は、乗客が搭乗する車両客室の監視技術に関する。
従来、例えば特許文献1には、電車等の各車両において、乗客が所持する携帯電話から痴漢等の犯罪行為についての情報送信があった場合に、車両内で所定の警報装置を表示、アナウンスさせる車両内警報システムが開示されている。特許文献1の車両内警報システムにおいて、音声出力装置を用いた所定のメッセージは、車両に搭乗する乗客全体に対してアナウンスされる。
車両の客室内では、犯罪行為ではないものの、他の乗客に迷惑と感じられるような行為も、頻繁に発生し得る。こうした行為の中止を、特許文献1の車内警報システムのように、音声メッセージによって乗客全体にアナウンスしてしまうと、行為の抑制が可能になる一方で、頻繁に発生し得るアナウンスは、多くの乗客にとって煩わしくなり得た。
本開示は、中止要求に起因する煩わしさを抑えつつ、特定の行為を抑制させて、客室の快適性を確保可能な客室監視方法及び客室監視装置の提供を目的とする。
本開示の第一の態様において、コンピュータによって実施され、複数の乗客が搭乗する車両の客室を監視する客室監視方法は、少なくとも一つのプロセッサ上において、個々の前記乗客に対する個別の報知が可能な個別提示装置を、前記客室に搭乗中の前記乗客のそれぞれに関連付けし、予め想定された特定行為の行為者である前記乗客の一人を認定し、前記行為者に関連付けられた前記個別提示装置を用いて、前記特定行為の中止を前記行為者に対して要求することを含む。
本開示の第二の態様において、車両に搭載され、複数の乗客が搭乗する前記車両の客室を監視する客室監視装置は、個々の前記乗客に対する個別の報知が可能な個別提示装置を、前記客室に搭乗中の前記乗客のそれぞれに関連付ける関連付け部と、予め想定された特定行為の行為者である前記乗客の一人を認定する行為認定部と、前記行為者に関連付けられた前記個別提示装置を用いて、前記特定行為の中止を前記行為者に対して要求する報知制御部とを備える。
本開示の第三の態様において、車両に搭載され、複数の乗客が搭乗する前記車両の客室を監視する客室監視装置は、プロセッサを備える。プロセッサは、個々の前記乗客に対する個別の報知が可能な個別提示装置を、前記客室に搭乗中の前記乗客のそれぞれに関連付け、予め想定された特定行為の行為者である前記乗客の一人を認定し、前記行為者に関連付けられた前記個別提示装置を用いて、前記特定行為の中止を前記行為者に対して要求する。
これらの態様では、予め想定された特定行為の行為者が認定された場合、各乗客に個別に関連付けられる個別提示装置のうちで、行為者に関連付けられた個別提示装置により、特定行為の中止が要求される。故に、特定行為の中止要求の提示は、行為者を除く他の乗客にとって煩わしく感じられ難い。以上によれば、中止要求に起因する煩わしさを抑えつつ、特定行為の抑制が可能になる。したがって、客室の快適性が確保される。
本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
本開示の第一実施形態による車載ユニットを含むシステムの全体像を示すブロック図であり、
マナー違反行為が生じているシーンを例示する図であり、
犯罪に繋がる行為が生じているシーンを例示する図であり、
客室内の各乗客に個別提示装置としての携帯端末を関連付ける処理の詳細を示すフローチャートであり、
発生通知の送信のため、携帯端末にて実施される通知処理の詳細を示すフローチャートであり、
携帯端末のディスプレイに表示される発生通知の入力画面の前半部分の一例を示す図であり、
入力画面の後半部分の一例を示す図であり、
車載ユニットにて実施される秩序維持処理の詳細を示す図であり、
本開示の第二実施形態による車載ユニット及び運行管理コンピュータを含む客室監視システムの全体像を示すブロック図である。
以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
(第一実施形態)
本開示の第一実施形態による客室監視装置の機能は、図1に示す車載ユニット100によって実現されている。車載ユニット100は、車両ADVに搭載された車載コンピュータである。図1及び図2に示す車両ADVは、運転者による運転操作がない状態で自律走行可能な自動運転バスであり、車外の通信ネットワークNWと通信可能なコネクテッドカーである。車両ADVには、例えば所定の定員(数名~数十名程度)まで乗客Pを搭乗させることが可能な客室Cが設けられている。客室Cには、乗客Pを着座させる多数の座席が設置されている。
本開示の第一実施形態による客室監視装置の機能は、図1に示す車載ユニット100によって実現されている。車載ユニット100は、車両ADVに搭載された車載コンピュータである。図1及び図2に示す車両ADVは、運転者による運転操作がない状態で自律走行可能な自動運転バスであり、車外の通信ネットワークNWと通信可能なコネクテッドカーである。車両ADVには、例えば所定の定員(数名~数十名程度)まで乗客Pを搭乗させることが可能な客室Cが設けられている。客室Cには、乗客Pを着座させる多数の座席が設置されている。
車両ADVには、客室センサ30、乗客認識部32、カードリーダ35、車外通信器40、車内通信器50、モニタ51、スピーカ52及び赤色灯53等が、車載ユニット100と共に搭載されている。
客室センサ30は、客室Cにおける乗客Pの状況を把握するためのセンサである。客室センサ30は、例えば客室Cの天井に複数台設置されており、カメラ31及びマイク33を有している。カメラ31は、客室C及び乗客Pを撮影し、生成した客室映像を乗客認識部32及び車載ユニット100へ向けて逐次出力する。カメラ31は、広角レンズと組み合わされており、客室内に死角ができない配置で設置されている。カメラ31は、可視光域の光に加えて、近赤外線域の光を検出可能な構成であってもよく、又はレーザスキャナ等と組み合わされていてもよい。マイク33は、客室Cの音を検出した客室音声を、車載ユニット100へ向けて逐次出力する。マイク33は、例えば乗客P同士の会話を集音可能である。
乗客認識部32は、カメラ31によって生成された客室映像を解析し、各乗客Pの状態を認識する。乗客認識部32は、各乗客Pの姿勢、並びに移動、着座及び離席等の行動を把握可能である。具体的に、乗客認識部32は、客室映像から乗客P及び物体(大型荷物等)等の物標を検出し、認識した物標毎に、座標及び種別等をタグ付けする。座標の項目には、例えば前方座席右側、後方座席左側、及び(X,Y)等の情報が入力される。種別の項目には、大型荷物、個別の乗客ID等の情報が入力される。乗客認識部32は、物標番号、座標及び種別等を含む検出情報を、車載ユニット100へ向けて逐次出力する。
カードリーダ35は、例えば客室Cの出入口付近に設置されている。カードリーダ35は、交通系カード及び当該カード機能を有する携帯端末10a~10cとの間で、近距離無線通信(Near Field Communication)可能なデバイスである。カードリーダ35は、各交通系カード及び各携帯端末10a~10cから端末固有の識別情報(以下、「端末ID」)を受信する。カードリーダ35は、車外通信器40及び通信ネットワークNWを介して、決済システム41と接続されている。交通系カード又は携帯端末10a~10cが乗客Pによってカードリーダ35にかざされると、カードリーダ35に読み込まれた端末IDに基づき、車両ADV(モビリティサービス)の利用料金がリアルタイムで決済される。カードリーダ35は、交通系カード又は携帯端末10a~10c、或いは決済システム41に記憶された各乗客Pの属性情報を、車載ユニット100等に提供可能である。
車外通信器40は、車外の通信ネットワークNWと無線通信可能である。通信ネットワークNWには、上述の決済システム41に加えて、車両ADVの運行管理センタのシステム(以下、「管理センタ42」)、及び警備会社のシステム(以下、「警備センタ43」)等が接続されている。車外通信器40は、決済システム41、管理センタ42及び警備センタ43との間で、情報を送受信する。
車内通信器50は、例えばBluetooth(登録商標)の規格に準じた無線通信により、乗客Pによって客室Cに持ち込まれた各携帯端末10a~10cと間で情報を送受信可能である。車内通信器50は、任意の携帯端末10a~10cへ向けて、個別にメッセージを送信できる。尚、車内通信器50は、Bluetoothとは異なる通信規格、例えば無線LAN等によって各携帯端末10a~10cと接続されてもよい。
モニタ51、スピーカ52及び赤色灯53は、客室内に設置され、客室Cの乗客Pに情報を提示する。モニタ51は、例えば液晶ディスプレイ等であり、広告、ニュース、車両ADVの運行情報、注意喚起情報等を画面に表示する。スピーカ52は、乗客Pへ向けた音声メッセージを客室内に再生する。赤色灯53は、例えば車両ADVの天井の中央部分に配置されている(図3参照)。赤色灯53は、後述する迷惑行為(犯罪行為)等の発生時に明滅し、緊急事態及び異常事態の発生を乗客Pに通知する。
図1に示す車載ユニット100は、客室Cに搭乗中の乗客Pを見守り、車内の秩序を維持するための制御を行う。こうした車載ユニット100の機能は、有人車両及び鉄道車両等において運転者及び車掌等の役割を代替する。車載ユニット100は、軽度の迷惑行為としてのマナー違反行為、重度の迷惑行為としての犯罪の虞がある行為(以下「犯罪行為」)、及び負傷者及び急病人(以下、「要救護者」)の発生等に対処する。
具体的に、マナー違反として検出する迷惑行為には、大声での会話、携帯電話での通話、客室Cの汚損、イヤホン及びヘッドホン等からの音漏れ、並びに図2に示すような大型荷物による座席の占拠等が含まれる。また、犯罪行為として検出する迷惑行為には、例えば車両設備の破壊、痴漢、窃盗、及び図3に示すような他の乗客Pへの暴言及び暴力等が含まれる。
以上の見守り機能及び秩序維持機能を実現するため、図1に示す車載ユニット100は、プロセッサ61、RAM62、メモリ装置63及び入出力インターフェースを有する制御回路を主体に構成されている。プロセッサ61は、RAM62と結合された演算処理のためのハードウェアであって、種々のプログラムを実行可能である。メモリ装置63は、不揮発性の記憶媒体を含む構成であって、プロセッサ61によって実行される種々のプログラムを格納している。メモリ装置63に格納されたプログラムには、上述の客室監視を車載ユニット100に実施させる客室監視プログラムが少なくとも含まれている。プロセッサ61による客室監視プロフラムの実行により、車載ユニット100には、関連付け部71、状況認定部72及び報知制御部73等の機能部が実装される。
関連付け部71は、関連付け処理(図4参照)により、客室Cに搭乗中の乗客Pのそれぞれに、各々が所持する携帯端末10a~10cを、データ上において関連付ける。こうした関連付け処理により、各携帯端末10a~10cは、所持者である個々の乗客Pに対し、個別の報知が可能な個別提示装置20として登録される。
詳記すると、各乗客Pが車両ADVに乗車する際の各携帯端末10a~10cでの料金支払に伴い、関連付け部71は、カードリーダ35を通じて、各携帯端末10a~10cの端末IDを取得する(図4 S101)。このとき関連付け部71は、乗客認識部32から取得する検出情報に基づき、客室映像に映る乗客Pを個別に把握している。関連付け部71は、携帯端末10a~10cの端末IDを取得したタイミング及び乗客Pの属性情報等を参照し、客室映像に映る各乗客P(物標番号又は乗客ID)に、携帯端末10a~10cの端末IDを紐付ける(図4 S102)。関連付け部71は、少なくとも乗客Pの降車まで、各携帯端末10a~10cを各乗客Pに紐付けた状態を維持する。
さらに関連付け部71は、カードリーダ35から取得した属性情報及び客室映像等に基づき、各物標に属性の項目(優先者か否か等)の情報を付与可能である。例えば、属性情報の示す年齢が高い乗客Pは、優先者として登録される。さらに、白杖WCを使用する乗客Pが検出された場合(図2参照)、当該乗客Pは、優先者として登録される。また、荷物等の物標については、所持者を示す乗客IDと紐付けされてもよい。
状況認定部72は、客室Cの状況を認識し、予め想定された特定行為、即ち、上述のマナー違反行為及び犯罪行為の特定と、当該行為の行為者Phである乗客Pの認定とを行う。状況認定部72は、客室センサ30及び乗客認識部32等と共に、乗客見守りシステムを構築している。
状況認定部72は、客室センサ30の検出情報と、客室Cに搭乗中の乗客Pから送信される発生通知を組み合わせて、迷惑行為等の特定と、行為者Phの認定とを行う。詳記すると、状況認定部72は、乗客認識部32にて解析されたカメラ31の検出情報に加えて、マイク33から出力される客室音声、及びカメラ31から出力される客室映像を取得する。状況認定部72は、客室音声に含まれる会話内容から、プライベートな情報を予め除外したうえで、語調、音量、音域、会話速度を把握すると共に、客室映像における乗客Pの挙動(ジェスチャ等)を把握する。状況認定部72は、把握したこれらの情報を組み合わせて、迷惑行為の内容とその行為者Phを推定する。客室音声及び客室映像の解析は、AI(Artificial Intelligence)技術を用いて、統計的、確率論的に実施されてよい。
一方、発生通知は、客室Cでの迷惑行為を発見した乗客P(通知者Pi)によって車載ユニット100に送信される。通知者Piは、客室Cでの迷惑行為を発見すると、携帯端末10b、並びに車両ADVに設置されたユーザ端末及び通報ボタン等を用いて、発生通知を送信可能である。
発生通知の送信プロセスを詳記すると、通知者Piは、個人の携帯端末10bにて、予めインストールされた迷惑通知アプリのアイコンICをタップする操作により、迷惑通知アプリを起動する。迷惑通知アプリは、迷惑行為の種別及び行為者Phの位置の入力と、迷惑行為の現場写真(静止画又は動画)の添付とを、通知者Piに要求する(図6及び図7参照)。尚、現場写真の添付は、任意であってもよい。
発生通知の送信プロセスを詳記すると、通知者Piは、個人の携帯端末10bにて、予めインストールされた迷惑通知アプリのアイコンICをタップする操作により、迷惑通知アプリを起動する。迷惑通知アプリは、迷惑行為の種別及び行為者Phの位置の入力と、迷惑行為の現場写真(静止画又は動画)の添付とを、通知者Piに要求する(図6及び図7参照)。尚、現場写真の添付は、任意であってもよい。
携帯端末10bは、アイコンICのタップ操作を受けて、図5に示す通知処理を開始し、迷惑通知アプリの起動処理を実施する(S121)。携帯端末10bは、車内通信器50への通信接続の要求により、車載ユニット100との通信をBluetooth等で確立させ(S122)、車載ユニット100へのログイン処理を実施する(S123)。ログイン処理では、携帯端末10bから車載ユニット100に、GPS情報及び端末ID等が送信される。車載ユニット100は、携帯端末10bの位置情報及び端末IDの特定に基づき、携帯端末10bのログインを許可する。
携帯端末10bは、車載ユニット100へのログイン後、入力画面ES(図6及び図7参照)をディスプレイに提示する(S124)。入力画面ESは、迷惑行為等の種別の選択、現場映像の添付、及び迷惑行為の発生場所の入力等を通知者Piに要求する。迷惑行為等の種別は、例えばマナー違反、犯罪、及び要救護者の発生等の項目に予め分類されている(図6 リスト参照)。入力画面ESには、各項目に含まれる迷惑行為等の選択ボタンが一覧で表示される。
通知者Piは、入力画面ESに表示された選択ボタンのタップ操作により、客室Cにて実際に発生しているトラブルを選択する。さらに通知者Piは、携帯端末10bのカメラ31を使用し、迷惑行為等の現場写真を、証拠として添付できる(図3参照)。加えて通知者Piは、客室Cの見取り図を模した選択画面により、迷惑行為等の発生場所を選択する(図7参照)。
携帯端末10bは、通知者Piによる入力画面ESへの入力が完了すると、迷惑行為等の種別、行為者Ph等の位置、現場写真、及び通知者ID(通知者Piの端末ID)等を、発生通知として車載ユニット100に送信し(S125)、通知処理を終了する。尚、携帯端末を所持していない乗客Pは、上述した車内のユーザ端末により、上記各情報を入力可能であってよい。
以上の発生通知の送信後、通知者Piは、迷惑行為等がなくなったか否かの判断を、車載ユニット100から要求される。通知者Piは、携帯端末10b又は車内ユーザ端末の操作により、以前に通知した迷惑行為の終息通知を、車載ユニット100に送信できる。こうした終息通知の送信は、例えば一回のタップ操作だけ等、簡易な操作で実施できることが望ましい。
図1に示す状況認定部72は、カメラ31の検出情報の内容と、通知者Piからの発生通知の内容とが整合した場合に、迷惑行為等の特定と行為者Phの認定とを行う。具体的に、状況認定部72は、通知者Piからの発生通知を受信すると、発生通知の示す位置情報に基づき、迷惑行為等の発生位置周辺の客室映像及び客室音声を解析する。客室映像及び客室音声より認識された行為の内容が、通知された内容に高確率で一致していると判定した(スコアが閾値を超えた)場合、状況認定部72は、迷惑行為等の発生を認定する。加えて状況認定部72は、発生通知を入力した通知者Piからの終息通知に基づき、迷惑行為等の終息を判定できる。
報知制御部73は、状況認定部72にて迷惑行為等が発生していると判定された場合に、発生中の迷惑行為等の種別に応じたアクチュエーションを実施する。具体的に、報知制御部73は、行為者Phへのマナー報知及び警告、管理センタ42、警備センタ43及び警察機関等への通報、並びに客室映像及び客室音声等の保存等を適宜実施する。報知制御部73は、上述の乗客見守りシステムと、アクチュエーションのための各構成(50~53)等と共に、車内秩序維持システムを構築している。
報知制御部73は、マナー違反行為が発生している場合、行為者Phに個別提示装置20として関連付けられた携帯端末10cを用いて、マナー違反行為の中止を行為者Phに対して要求する。例えば、マナー違反行為が検出された場合、予め用意された報知メッセージが、携帯端末10cによって行為者Phに提示される。具体的には、「車内での電話はお控えください。ご協力ありがとうございます。」,「会話の音量は、周囲へのご配慮をお願いします。」「携帯機器の音漏れにご注意ください。」等が携帯端末10cのディスプレイに表示される。尚、イヤホン等を装着している場合、中止要求の提示は、音声メッセージによって行われてもよい。
報知制御部73は、上述したように、マナー違反行為が改善されたか否かの確認を通知者Piに対して要求する。報知制御部73は、通知者Piによる終息通知に基づき、状況認定部72にて迷惑行為の終息が認定されると、携帯端末10c(個別提示装置20)を用いたマナー違反行為の中止要求を終了させる。そして、報知制御部73は、「ご協力ありがとうございます。」等のメッセージを端末のディスプレイに表示させる。こうした処理によれば、無駄な報知の継続による煩わしさの増大が抑止され得る。
一方、犯罪行為が発生している場合、報知制御部73は、行為者Phに対する中止要求の方法を、マナー違反行為の場合から変更する。報知制御部73は、スピーカ52及び赤色灯53を用いて、犯罪行為の中止を行為者Phに対して直接的に要求する。
また、報知制御部73は、要救護者が発生している場合、報知制御部73は、スピーカ52等を用いて、要救護者の救護要求を、要救護者の周囲の乗客Pに呼びかける。さらに報知制御部73は、車内の状況を映像又は音声によって確認可能となるように、管理センタ42のオペレータと通知者Piとを通話可能な状態にする。以上により、重要な判断は、外部のオペレータに委ねられる。
以上の車載ユニット100にて実施される秩序維持処理の詳細を、図8に基づき、図1等を参照しつつ説明する。図8に示す秩序維持処理は、車両ADVの走行システムの起動に基づき開始され、走行システムがオフ状態とされるまで継続される。
S141では、発生通知の受信処理を実施し、S142に進む。S142では、S141での発生通知の受信の有無を判定する。S141及びS142の繰り返しにより、発生通知の受信を待機し、通知者Piからの発生通知の送信があった場合に、S142からS143に進む。
S143では、S141にて受信した発生通知の種別を判別する。S143にて、発生通知がマナー違反行為を通知する内容である場合、S144に進む。S144では、発生通知の内容と、客室センサ30の検出情報の内容とを照合し、S145に進む。S145では、S144の照合の結果、発生通知及び検出情報の各内容が整合しているか否かを判定する。S145にて、各情報の内容が整合していないと判定した場合、発生通知が誤報又はイタズラ通知であると推定し、秩序維持処理を一旦終了する。この場合、例えば行為者Phを特定せずに、客室Cのモニタ51にメッセージを表示し、乗客全体へ向けたアクチュエーションのみを実施してもよい。
一方、S145にて、各情報の内容が整合していると判定した場合、S146に進む。S146では、発生通知に示された行為者Phの位置情報と、客室映像の解析結果とに基づき、迷惑行為の行為者Phを認定して、S147に進む。S147では、S146にて認定した行為者Phに関連付けられた個別提示装置20(携帯端末10c)を用いて、迷惑行為の中止を要求し、S148に進む。尚、個別提示装置20による中止要求の前に、モニタ51によるメッセージの表示が行われてもよい。この場合、スピーカ52を用いた音声による報知は、他の乗客Pに煩わしく感じられ易いため、実施されないことが望ましい。
S148では、携帯端末10bを通じて、通知者Piに迷惑行為の改善確認を依頼し、S149に進む。S149では、通知者Piによる終息通知の受信の有無の判定により、終息通知の受信を待機する。S149にて、終息通知を受信したと判定した場合、S150に進む。S150では、個別提示装置20を用いた行為者Phへの中止要求を終了させて、秩序維持処理を終了する。
一方、発生通知が犯罪行為を通知する内容である場合、S151に進む。S151及びS152では、S144及びS145と同様に、発生通知の内容と、客室センサ30の検出情報の内容とを照合し、発生通知と検出情報とについて、互いの内容が整合しているか否かを判定する。情報が整合しない場合、例えば行為者Phを特定せずに、モニタ51によるメッセージの表示等、客室全体へ向けた注意喚起のみを実施し、秩序維持処理を終了する。
対して、S152にて、発生通知と検出情報の内容が整合していると判定した場合、S153に進む。S153では、犯罪時処理を実行する。具体的に、犯罪時処理では、客室Cへの警報発令、管理センタ42の呼び出し、警察機関及び警備センタ43への通報、行為者Phの特定、行為者Ph周辺の客室映像及び客室音声の記録等を実施する。
また、発生通知が乗客Pの怪我及び急病等を通知する内容である場合、図8のS154に進む。S154では、緊急時処理を実行する。具体的に、緊急時処理では、管理センタ42の呼び出し、管理センタ42オペレータと通知者Piとの音声通話接続、要救護者への声掛け、要救護者のID情報の特定と当該要救護者の家族等関係先への連絡、救急への通報、医療関係者へ連絡等が実施される。
以上の処理に基づく具体的な秩序維持のアクチュエーションの例を、図2及び図3のシーンに沿って、図1及び図8を参照しつつ説明する。
図2に示すマナー違反行為の発生シーンにて、車載ユニット100は、大型荷物による座席の占拠を発見した通知者Piから発生通知を受信し(S141)、客室映像からも大型荷物による座席の占有を検出する(S144,S145)。その結果、車載ユニット100は、大型荷物の所有者をマナー違反行為の行為者Phとして認定する(S146)。大型荷物に占拠された座席が優先席である場合、車載ユニット100は、優先者が座れない状況、一般者(非優先者)が優先席を使用しているという状況も、合わせて特定可能となる。
車載ユニット100は、行為者Phへの中止要求として、「一人でも多く座れるよう混雑時は荷物を膝上にお願いします」、又は「優先席をお譲りください。」等のメッセージを、行為者Phの携帯端末10cのディスプレイに表示させる(S147)。
そして、客室映像から座席解放が検出された場合、又は通知者Piへ改善確認依頼に対する終息通知があった場合、携帯端末10cによる報知を終了させ、「車内マナーへのご協力を感謝いたします。」等のメッセージを表示させる(S150)。
一方、図3に示す犯罪行為の発生シーンにて、車載ユニット100は、乗客Pの暴言又は暴力に遭遇した通知者Piによる発生通知を受信する(S141)。そして、客室映像及び客室音声からも暴言及び暴力を検出すると(S144,S145)、車載ユニット100は、犯罪性の高い犯罪行為の発生を特定し、車内に警告を発信する。例えば、赤色灯53の明滅、スピーカ52による「犯罪行為が疑われます。車内を録画します。警察へ通報します。係員が急行します。」等の音声メッセージの再生が順に実行される。さらに、車載ユニット100は、行為者PhのID情報(端末ID及び/又は乗客ID)と、客室映像及び現場写真等とを紐づけて保存すると共に、これらのデータの少なくとも一部を管理センタ42及び警備センタ43に送信する。
以上の結果、管理センタ42に関連する係員が現場へ急行し、被害者を保護する等の対処が可能となる。さらに、行為者Phが特定されているため、警察機関による行為者Phの任意聴取等も可能になる。
ここまで説明したように、車載ユニット100にて実施される第一実施形態の客室監視方法では、各携帯端末10bが、個別提示装置20として各乗客Pに個別に関連付けられている。故に、迷惑行為等の行為者Phが認定された場合、その行為者Phに関連付けられた個別提示装置20(携帯端末10c)により、迷惑行為の中止が要求される。そのため、迷惑行為の中止要求の提示は、行為者Phを除く他の乗客Pにとって、煩わしく感じられ難くなる。以上によれば、中止要求に起因する煩わしさを抑えつつ、迷惑行為の抑制が可能になる。したがって、客室Cの快適性が確保され易くなる。
加えて第一実施形態では、客室Cに搭乗中の乗客Pからの発生通知に基づき、迷惑行為の発生と行為者Phとが認定される。故に、行為者Phの周囲にて、他の乗客Pが迷惑と感じている迷惑行為が、秩序維持システムによる注意喚起の対象となり易い。したがって、客室Cの快適性は、高い確実性を持って確保可能となる。
また第一実施形態では、客室センサ30の検出情報の内容が発生通知の内容と整合した場合に、迷惑行為の発生と行為者Phとが認定される。即ち、発生通知だけでは、特定の乗客Pを対象とした注意喚起は実施されない。以上のように、迷惑行為の行為者Phを高精度に特定可能であれば、誤った内容の中止要求及び誤った乗客Pへの中止要求等は、生じ難くなる。
さらに第一実施形態の車載ユニット100は、発生通知を送信した携帯端末10bの端末IDを、発生通知と共に取得できる。このように、発生通知の通知者Piを特定可能な情報が残るシステム構成であれば、イタズラによる発生通知の送信が低減できる。その結果、誤った中止要求の実施が抑制され得るため、秩序維持システムの導入が客室Cの快適性を損なう事態は、生じ難くなる。
加えて第一実施形態では、発生通知を入力した通知者Piによる終息通知に基づき、行為者Phへの中止要求が終了される。以上によれば、軽度の迷惑行為のために、煩わしい注意喚起が継続されてしまう事態は、回避される。その結果、不注意で中止要求の対象となってしまったような善意の行為者Phが不快感を覚え難くなる。
また第一実施形態では、行為者Phに対する中止要求の方法が迷惑行為等の種別に応じて変更される。こうしたステップを含むことで、マナー違反行為等の軽度の迷惑行為に対しては、個別の注意喚起により、周囲の乗客Pに煩わしい思いをさせることなく、状況の改善が可能となる。一方で、犯罪性が疑われる重度の迷惑行為に対しては、強い注意喚起の実施により、迅速な状況改善が優先可能となる。
尚、第一実施形態では、状況認定部72が「行為認定部」に相当し、車載ユニット100が「コンピュータ」に相当する。
(第二実施形態)
図9に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態では、車載ユニット100及び運行管理コンピュータ200等によって客室監視システム210が構成されている。客室監視システム210は、客室Cに搭乗中の乗客Pを見守り、車内の秩序を維持する制御を行う。車載ユニット100及び運行管理コンピュータ200は、互いに連携して、第一実施形態と実質同一の秩序維持処理(図8参照)を実行する。
図9に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態では、車載ユニット100及び運行管理コンピュータ200等によって客室監視システム210が構成されている。客室監視システム210は、客室Cに搭乗中の乗客Pを見守り、車内の秩序を維持する制御を行う。車載ユニット100及び運行管理コンピュータ200は、互いに連携して、第一実施形態と実質同一の秩序維持処理(図8参照)を実行する。
車載ユニット100は、第二実施形態において、メモリ装置63に記憶された車両側客室監視プログラムをプロセッサ61によって実行する。その結果、車載ユニット100には、第一実施形態と実質同一の報知制御部73が実装される。報知制御部73は、管理センタ42の運行管理コンピュータ200にて迷惑行為等が発生していると判定された場合に、運行管理コンピュータ200の指示に従い、発生中の迷惑行為等の種別に応じたアクチュエーションを実施する。
運行管理コンピュータ200は、管理センタ42に設置されており、通信ネットワークNWを通じて、各車両ADVの各車載ユニット100と接続されている。運行管理コンピュータ200は、プロセッサ261、RAM262、メモリ装置263及び入出力インターフェースを有する制御回路を主体に構成されている。プロセッサ261は、RAM262と結合された大規模な演算処理のためのハードウェアであって、種々のプログラムを実行可能である。メモリ装置263は、不揮発性の記憶媒体を含む構成であって、プロセッサ261によって実行される種々のプログラムを格納している。運行管理コンピュータ200は、メモリ装置263に記憶されたセンタ側客室監視プログラムをプロセッサ261によって実行する。その結果、運行管理コンピュータ200には、第一実施形態と実質同一の関連付け部71及び状況認定部72に加えて、通信制御部274が実装される。
関連付け部71は、第一実施形態と同様に、関連付け処理(図4参照)を行う。具体的に、関連付け部71は、各乗客Pの料金支払いの際にカードリーダ35によって読み取られた端末IDを、車外通信器40及び通信ネットワークNWを通じて取得する。さらに、関連付け部71は、乗客認識部32による検出情報も、車外通信器40及び通信ネットワークNWを通じて取得する。関連付け部71は、客室映像に映る各乗客Pの乗客IDのへ端末IDの紐付けを、遠隔にて実施し、各携帯端末10a~10cを各乗客Pの個別提示装置20として登録する。
状況認定部72は、客室Cの状況を遠隔にて認識し、迷惑行為等の特定と、当該行為の行為者Phの認定とを行う。状況認定部72は、乗客認識部32による検出情報、マイク33の客室音声及びカメラ31の客室映像、通知者Piによる発生通知及び終息通知等を、車外通信器40及び通信ネットワークNWを通じて取得する。状況認定部72は、通知者Piからの発生通知を受信すると、客室映像及び客室音声を解析し、相互の内容が実質一致していると判定した場合に、迷惑行為等の発生とその行為者Phとを認定する。
通信制御部274は、客室Cにて発生している迷惑行為等の種別と、行為者Phを示す情報とを、通信ネットワークNW及び車外通信器40を通じて、車載ユニット100に送信する。以上により、例えばマナー違反行為等が生じていた場合、マナー違反行為の行為者Phの携帯端末10bが、個別提示装置20として機能し、マナー改善を行為者Phに呼びかけるメッセージを表示する。加えて通信制御部274は、犯罪行為が疑われる場合又は要救護者が発生した場合等に、警備センタ43及び警察機関等への通報を実施する。
ここまで説明した第二実施形態のように、秩序維持のための演算が車両側とセンタ側とで分散処理されていても、個別提示装置20(携帯端末10c)を用いた行為者Phへのピンポイントでの中止要求が可能である。故に、第一実施形態と同様の効果を奏し、中止要求に起因する煩わしさを抑えつつ、迷惑行為の抑制が可能になる。尚、第二実施形態では、車載ユニット100及び運行管理コンピュータ200が共に「コンピュータ」及び「客室監視装置」に相当する。
(他の実施形態)
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記第一実施形態の変形例1において、状況認定部は、通知者による発生通知を受信した場合だけでなく、客室音声及び客室映像からマナー違反行為の発生を推定した場合にも、行為者を認定し、行為者に対する個別のアクチュエーションを行う。変形例1の車載ユニットは、乗客からの発生通知が無くても、マナー違反行為の継続を抑止できる。
加えて変形例1の車載ユニットは、乗客からの発生通知が無くても、客室内での乗客の行動を認識技術で解析し、犯罪行為を高確率で検出した場合に、管理センタに通報する。こうした変形例1であれば、マナー違反行為及び犯罪行為によって迷惑を受けている乗客が携帯端末を所持していない場合でも、客室の快適性の迅速な回復が可能となる。
尚、客室内の状況認識には、画像認識及び音声認識の両方が用いられなくてもよい。画像認識及び音声認識のいずれか一方のみにより、客室の状況が推定されてよい。
中止要求の対象となる特定行為の種別は、上記実施形態にて例示したマナー違反行為及び犯罪行為等に限定されない。こうした特定行為の種別は、例えば車両が運行される地域(国)、利用者の傾向、時間帯等に応じて適宜変更されてよい。さらに、マナー違反行為及び犯罪行為に含まれる項目も、適宜変更されてよい。
例え、上記実施形態では、犯罪の虞がある重度の迷惑行為を「犯罪行為」と定義していた。詳記すると、将来の裁判にて刑法に照らして犯罪と確定される可能性のある行為であって、発生時では容疑の段階である行為が、「犯罪行為」として検出されていた。しかし、法的には罰せられないような重度の迷惑行為も、「犯罪行為」として検出可能されてよい。尚、保存された現場写真及び客室映像等は、上記裁判にて、犯罪行為を法的に確定させる場合の有効な証拠となる。
また上記実施形態では、特定行為のうちで、マナー違反行為があった場合のみ、個別提示装置を用いた中止要求が行われていた。しかし、犯罪行為があった場合にも、当該行為者の携帯端末を個別提示装置として用いた個別の中止要求が実施されてよい。尚、特定行為の種別に応じた中止要求の変更は、実施されてなくてもよい。
また上記実施形態では、特定行為のうちで、マナー違反行為があった場合のみ、個別提示装置を用いた中止要求が行われていた。しかし、犯罪行為があった場合にも、当該行為者の携帯端末を個別提示装置として用いた個別の中止要求が実施されてよい。尚、特定行為の種別に応じた中止要求の変更は、実施されてなくてもよい。
上記実施形態では、イタズラ通知の抑制のため、通知者を特定可能な端末IDが発生通信と共に送信されていた。しかし、匿名性を重視し、端末ID等の携帯端末を識別する識別情報は、発生通知に添付されなくてもよい。
上記実施形態では、各乗客の携帯端末が個別提示装置として利用されていた。しかし、個別提示装置として利用可能な構成は、携帯端末に限定されない。例えば、各座席の座面に個別に設置された振動装置又はモニタ装置が、マナー違反を個別に注意喚起する個別提示装置として機能してもよい。さらに、指向性のスピーカを用いた音声メッセージの再生により、行為者である特定の乗客のみに、中止要求が行われてもよい。
乗客への注意喚起に用いられるモニタ及びスピーカ等の客室内構成は、適宜変更されてよい。加えて、頻繁な注意喚起は、乗客に煩わしさを惹起し易い。そのため、車載ユニットは、モニタ及びスピーカを用いた注意喚起を行った場合、これらを用いた注意喚起を、一定時間、行わないようにしてもよい。
上記実施形態では、発生通知の通知者が終息通知を送信する役割を担っていた。しかし、マナー違反行為の改善確認は、他の乗客によって実施されてもよい。或いは、客室映像及び客室音声の解析結果に基づき、マナー違反行為の改善が確認されてもよい。
上記実施形態での発生通知は、車内通信器へ向けて送信されていた。しかし、上記第二実施形態のように、状況認識が管理センタにて実施される形態では、携帯端末は、車内通信器ではなく、通信ネットワークを通じて運行管理コンピュータへ向けて発生通知等を送信してもよい。
上記実施形態では、一通の発生通知に基づき、マナー違反行為の中止要求を行うシーンを説明した。しかし、同一の内容と推定される発生通知を複数件受信するシーンが推定され得る。例えば、別々の乗客から送信された複数の発生通知において、同一の発生場所が示されている場合、車載ユニットは、個々の発生通知がマナー違反行為を示す内容であったとしても、行為者の行為を迷惑行為として扱い、強い警告を実施してもよい。
具体的には、同一の案件を示す発生通知が三件以下の場合では、個別提示装置を用いた個別の注意喚起が行われる。一方で、同一の案件を示す発生通知を四件以上受信した場合、車載ユニットは、個別の注意喚起を実施せず、スピーカを用いた警告を直ちに実行する。さらに、六件以上の発生通知を受信した場合、車載ユニットは、管理センタ等への通報を直ちに実行する。
上記実施形態では、本開示による客室監視方法を用いた乗客の見守りシステム及び車内秩序維持システムを、無人バスに適用した例を説明した。しかし、見守りシステム及び車内秩序維持システムを適用可能な車両は、無人バスに限定されず、有人車両であってもよい。例えば、運転者による客室全体の監視が困難な鉄道車両及び連節バス等に、上記の見守りシステム及び車内秩序維持システムは、適用されてよい。
本開示の客室監視方法を実施するコンピュータとして、上記実施形態では、車載ユニット及び運行管理コンピュータが例示されていた。こうした客室監視方法に関連する処理は、車載ユニット及び運行管理コンピュータの両方を含む客室管理システムにより、両方のコンピュータの連携により、分散実施されてもよい。また、客室監視方法を実施するコンピュータは、これらのコンピュータに限定されない。例えば、車載された複数の電子制御ユニットが、客室監視プログラムを分散処理してもよい。或いは、管理センタに設置された運行管理コンピュータが、客室監視プログラムの実質全ての演算を処理してもよい。
以上のように、車載ユニット及び運行管理コンピュータの各制御回路により提供された各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアである電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
客室監視プログラムに関連するデータ処理、並びに命令及びコードを実行するプロセッサの具体的な構成は、適宜変更されてよい。プロセッサは、CPU(Central Processing Unit)に加えて、GPU(Graphics Processing Unit)を含む構成であってもよい。さらに、プロセッサは、FPGA(Field-Programmable Gate Array)及びAI技術の学習及び推論に特化したアクセラレータ(例えばDSP(Digital Signal Processor)等)を含んでいてもよい。加えてプロセッサは、FPGA及びASIC(Application Specific Integrated Circuit)等に実装された構成であってもよい。
客室監視プログラムを格納する構成として、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体(non-transitory tangible storage medium)が、メモリ装置に採用可能である。こうした記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、メモリカード等の形態であって、コンピュータに設けられたスロット部に挿入されて、制御回路に電気的に接続される構成であってよい。さらに記憶媒体は、上述のような車載装置等のメモリ装置に限定されず、当該メモリ装置へのプログラムのコピー基となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション(あるいはステップと言及される)から構成され、各セクションは、たとえば、S121と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
Claims (9)
- コンピュータ(100,200)によって実施され、複数の乗客(P)が搭乗する車両(ADV)の客室(C)を監視する客室監視方法であって、
少なくとも一つのプロセッサ(61,261)上において、
個々の前記乗客に対する個別の報知が可能な個別提示装置(20)を、前記客室に搭乗中の前記乗客のそれぞれに関連付けし(S102)、
予め想定された特定行為の行為者(Ph)である前記乗客の一人を認定し(S146)、
前記行為者に関連付けられた前記個別提示装置を用いて、前記特定行為の中止を前記行為者に対して要求する(S147)、
ことを含む客室監視方法。 - 前記客室の状態を検出する客室センサ(30)の検出情報に基づき、前記行為者を認定する請求項1に記載の客室監視方法。
- 前記客室に搭乗中の他の一人の前記乗客からの発生通知に基づき、前記行為者を認定する請求項1又は2に記載の客室監視方法。
- 前記客室に搭乗する他の一人の前記乗客からの発生通知の内容と、前記客室の状態を検出する客室センサ(30)の検出情報の内容とが整合した場合に、前記行為者を認定する請求項1に記載の客室監視方法。
- 他の一人の前記乗客の所持する携帯端末(10b)によって送信された前記発生通知を受信する場合に、当該携帯端末の識別情報を前記発生通知と共に取得する請求項3又は4に記載の客室監視方法。
- 前記発生通知を入力した他の一人の前記乗客からの終息通知に基づき、前記個別提示装置を用いた前記特定行為の中止要求を終了する請求項3~5のいずれか一項に記載の客室監視方法。
- 前記行為者に対する中止要求の方法を、前記行為者による前記特定行為の種別に応じて変更する請求項1~6のいずれか一項に記載の客室監視方法。
- 車両(ADV)に搭載され、複数の乗客(P)が搭乗する前記車両の客室(C)を監視する客室監視装置であって、
個々の前記乗客に対する個別の報知が可能な個別提示装置(20)を、前記客室に搭乗中の前記乗客のそれぞれに関連付ける関連付け部(71)と、
予め想定された特定行為の行為者(Ph)である前記乗客の一人を認定する行為認定部(72)と、
前記行為者に関連付けられた前記個別提示装置を用いて、前記特定行為の中止を前記行為者に対して要求する報知制御部(73)と、を備える客室監視装置。 - 車両(ADV)に搭載され、複数の乗客(P)が搭乗する前記車両の客室(C)を監視する客室監視装置は、
プロセッサを備え、
プロセッサは、
個々の前記乗客に対する個別の報知が可能な個別提示装置(20)を、前記客室に搭乗中の前記乗客のそれぞれに関連付け、
予め想定された特定行為の行為者(Ph)である前記乗客の一人を認定し、
前記行為者に関連付けられた前記個別提示装置を用いて、前記特定行為の中止を前記行為者に対して要求する客室監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/131,245 US11254318B2 (en) | 2018-06-26 | 2020-12-22 | Passenger compartment monitoring method and passenger compartment monitoring device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-120955 | 2018-06-26 | ||
| JP2018120955A JP6870663B2 (ja) | 2018-06-26 | 2018-06-26 | 客室監視方法、及び客室監視装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US17/131,245 Continuation US11254318B2 (en) | 2018-06-26 | 2020-12-22 | Passenger compartment monitoring method and passenger compartment monitoring device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020003749A1 true WO2020003749A1 (ja) | 2020-01-02 |
Family
ID=68985587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/018476 Ceased WO2020003749A1 (ja) | 2018-06-26 | 2019-05-09 | 客室監視方法、及び客室監視装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11254318B2 (ja) |
| JP (1) | JP6870663B2 (ja) |
| WO (1) | WO2020003749A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7134282B1 (ja) | 2021-03-11 | 2022-09-09 | 三菱電機株式会社 | 映像解析装置、映像解析方法及び映像解析プログラム |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020032304A1 (ko) * | 2018-08-10 | 2020-02-13 | 엘지전자 주식회사 | 캐빈 시스템 |
| EP3793220B1 (fr) * | 2019-09-10 | 2024-04-10 | SpeedInnov | Système de diffusion sonore embarqué dans un véhicule ferroviaire, véhicule, procédé et programme d'ordinateur associés |
| JP7438800B2 (ja) * | 2020-03-18 | 2024-02-27 | 本田技研工業株式会社 | 管理装置、管理方法、およびプログラム |
| JP7493231B2 (ja) * | 2020-09-29 | 2024-05-31 | 株式会社ユピテル | システム及びプログラム等 |
| WO2022085200A1 (ja) | 2020-10-23 | 2022-04-28 | 三菱電機株式会社 | 情報提示システム、情報提示方法および情報提示プログラム |
| US11807258B2 (en) * | 2021-06-08 | 2023-11-07 | Toyota Connected North America, Inc. | Radar detection of unsafe seating conditions in a vehicle |
| JP7697282B2 (ja) * | 2021-06-16 | 2025-06-24 | 株式会社アイシン | 監視システム |
| JP7683347B2 (ja) * | 2021-06-25 | 2025-05-27 | トヨタ自動車株式会社 | 車室内監視システム及び乗合車両 |
| JP7625989B2 (ja) * | 2021-06-25 | 2025-02-04 | 株式会社デンソー | 乗客見守り装置、運行管理システム |
| US20210397858A1 (en) * | 2021-08-31 | 2021-12-23 | Cornelius Buerkle | Detection and mitigation of inappropriate behaviors of autonomous vehicle passengers |
| JP7593298B2 (ja) * | 2021-11-04 | 2024-12-03 | トヨタ自動車株式会社 | 移動体乗客向け通知装置及び通知方法 |
| JP2023117055A (ja) * | 2022-02-10 | 2023-08-23 | トヨタ自動車株式会社 | 車両管理システム、及び車両管理方法 |
| JP2025059958A (ja) * | 2023-09-29 | 2025-04-10 | 株式会社日立製作所 | データ処理システム及びデータ処理方法 |
| JP2025073399A (ja) * | 2023-10-26 | 2025-05-13 | トヨタ自動車株式会社 | 無人車両の制御システム及び制御方法 |
| JP7779347B1 (ja) | 2024-05-28 | 2025-12-03 | 三菱電機ビルソリューションズ株式会社 | 推論装置及び学習装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006511861A (ja) * | 2002-12-06 | 2006-04-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 公共輸送機関ターミナル内の警備及び利便性を乗客に与えるシステム及び方法 |
| JP2015023459A (ja) * | 2013-07-19 | 2015-02-02 | 株式会社ニコン | 投影システム |
| JP2015108854A (ja) * | 2012-02-15 | 2015-06-11 | 日本電気株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090112638A1 (en) * | 2007-10-29 | 2009-04-30 | The Boeing Company | System and Method for Virtual Queuing |
| DE102011077345B4 (de) * | 2011-06-10 | 2019-08-29 | Airbus Operations Gmbh | Verfahren und Vorrichtung zum Darstellen von Informationen mittels eines Dual-View-Displays in einer Passagierkabine eines Luft- oder Raumfahrzeuges |
| US9031779B2 (en) | 2012-05-30 | 2015-05-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for hazard detection and sharing |
| JP2014052774A (ja) | 2012-09-06 | 2014-03-20 | Hitachi Kokusai Electric Inc | 車両内警報システム |
| JP2015072510A (ja) | 2013-10-01 | 2015-04-16 | 博志 眞崎 | 迷惑行為撃退装置、及びその装置を用いた迷惑行為撃退システム |
| JP2017004119A (ja) | 2015-06-05 | 2017-01-05 | Line株式会社 | サーバ及びユーザ特定方法並びにユーザ特定プログラム |
| JP6558178B2 (ja) | 2015-09-24 | 2019-08-14 | 日本電気株式会社 | 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム |
| JP6735966B2 (ja) | 2016-02-16 | 2020-08-05 | 株式会社オプナス | 錠前制御システムおよび錠前制御装置 |
| US9986625B2 (en) * | 2016-02-22 | 2018-05-29 | Hubbell Incorporated | Configurable lighting system |
| JP6872858B2 (ja) | 2016-05-11 | 2021-05-19 | 株式会社コーエーテクモゲームス | 情報処理方法、システム、コンピュータプログラム |
| JP7058464B2 (ja) | 2016-11-11 | 2022-04-22 | ヤフー株式会社 | 不正対策システム、および不正対策方法 |
| US10688951B2 (en) * | 2017-11-22 | 2020-06-23 | GM Global Technology Operations LLC | System and method for determining whether a seatbelt is used incorrectly, and for taking corrective action when the seatbelt is used incorrectly |
| US10499180B1 (en) * | 2018-05-17 | 2019-12-03 | Zoox, Inc. | Three-dimensional sound for passenger notification |
-
2018
- 2018-06-26 JP JP2018120955A patent/JP6870663B2/ja active Active
-
2019
- 2019-05-09 WO PCT/JP2019/018476 patent/WO2020003749A1/ja not_active Ceased
-
2020
- 2020-12-22 US US17/131,245 patent/US11254318B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006511861A (ja) * | 2002-12-06 | 2006-04-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 公共輸送機関ターミナル内の警備及び利便性を乗客に与えるシステム及び方法 |
| JP2015108854A (ja) * | 2012-02-15 | 2015-06-11 | 日本電気株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
| JP2015023459A (ja) * | 2013-07-19 | 2015-02-02 | 株式会社ニコン | 投影システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7134282B1 (ja) | 2021-03-11 | 2022-09-09 | 三菱電機株式会社 | 映像解析装置、映像解析方法及び映像解析プログラム |
| JP2022138744A (ja) * | 2021-03-11 | 2022-09-26 | 三菱電機株式会社 | 映像解析装置、映像解析方法及び映像解析プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020003935A (ja) | 2020-01-09 |
| JP6870663B2 (ja) | 2021-05-12 |
| US20210114600A1 (en) | 2021-04-22 |
| US11254318B2 (en) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11254318B2 (en) | Passenger compartment monitoring method and passenger compartment monitoring device | |
| US12033446B2 (en) | Safety for vehicle users | |
| CN109690609B (zh) | 乘客辅助装置、方法以及程序 | |
| US20200082188A1 (en) | Methods and systems for real-time monitoring of vehicles | |
| JP4891113B2 (ja) | 緊急通報機能、緊急対応機能を備えた緊急通報システム | |
| JP2023539250A (ja) | 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| CN120348297A (zh) | 记录操作员和周围视场的视频 | |
| WO2021017057A1 (zh) | 载客运营车辆监管系统及设备、介质 | |
| CN110213516A (zh) | 车载视频录制处理方法、装置、存储介质及电子装置 | |
| JP7110947B2 (ja) | 車両及び乗客輸送システム | |
| CN104002729A (zh) | 用于车内警报激活和响应处理的方法和设备 | |
| KR20210042860A (ko) | 정보 출력 방법, 장치 및 시스템 | |
| JP2008203985A5 (ja) | ||
| WO2022050108A1 (ja) | 情報処理装置、情報処理方法、プログラム及び情報処理端末 | |
| JP2013120409A (ja) | 運行車両監視システム | |
| KR101750871B1 (ko) | 이어셋 장치 및 그 장치의 제어 방법 | |
| JP2022541703A (ja) | 交通機関の制御方法及び装置、電子機器並びに記憶媒体 | |
| JP2024016083A (ja) | 電子機器、システムおよびプログラム等 | |
| US20210377383A1 (en) | Assembly and method for preventing wireless communication while driving | |
| JP7354377B2 (ja) | 携帯端末、検知方法およびプログラム | |
| JP7447915B2 (ja) | 処理装置、処理方法及びプログラム | |
| KR102897266B1 (ko) | 경로추적을 통한 승객 신변보호 방법 | |
| KR101649661B1 (ko) | 이어셋 장치 및 그 장치의 제어 방법 | |
| JP7794289B2 (ja) | 監視装置、監視方法、およびプログラム | |
| CN113034727A (zh) | 移动体内图像提供系统及其方法、和其服务器、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19826250 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19826250 Country of ref document: EP Kind code of ref document: A1 |