WO2022269697A1 - 異常検知システム、異常検知方法及びプログラム記録媒体 - Google Patents

異常検知システム、異常検知方法及びプログラム記録媒体 Download PDF

Info

Publication number
WO2022269697A1
WO2022269697A1 PCT/JP2021/023439 JP2021023439W WO2022269697A1 WO 2022269697 A1 WO2022269697 A1 WO 2022269697A1 JP 2021023439 W JP2021023439 W JP 2021023439W WO 2022269697 A1 WO2022269697 A1 WO 2022269697A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
vehicle
notification
abnormality
anomaly
Prior art date
Application number
PCT/JP2021/023439
Other languages
English (en)
French (fr)
Inventor
諒 川合
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023529224A priority Critical patent/JPWO2022269697A5/ja
Priority to PCT/JP2021/023439 priority patent/WO2022269697A1/ja
Publication of WO2022269697A1 publication Critical patent/WO2022269697A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons

Definitions

  • the present invention relates to an anomaly detection system, an anomaly detection method, and a program recording medium.
  • Patent Literature 1 discloses an in-vehicle monitoring device that notifies passenger safety based on both the boarding state of the passenger and the running state of the vehicle in order to prevent the passenger from falling inside the vehicle of public transportation. It is
  • Patent Document 1 The technology exemplified in Patent Document 1 is not intended to flexibly respond to the executed notification when the notification itself is based on minor detection or false detection.
  • the object of the present invention is to provide an anomaly detection system, an anomaly detection method, and a program recording medium that can provide means for flexibly responding after notification.
  • an anomaly information acquisition unit acquires anomaly information indicating an anomaly that has occurred in a vehicle;
  • an anomaly detection system comprising: a driving situation analysis unit that generates a situation; and a control unit that controls the output of a notification regarding the anomaly based on the anomaly information and the operating situation.
  • an anomaly detection method for controlling the output of an anomaly-related notification based on the anomaly information and the driving situation.
  • the computer performs a process of acquiring abnormality information indicating an abnormality that has occurred in the vehicle, analyzes the operation information indicating the operation of the driver in the vehicle, and drives the vehicle based on the analysis results.
  • a program recording medium recording a program for executing a process of generating a situation and a process of controlling the output of the notification regarding the abnormality based on the abnormality information and the driving situation.
  • an anomaly detection system it is possible to provide an anomaly detection system, an anomaly detection method, and a program recording medium that can flexibly respond to an anomaly after notification.
  • the anomaly detection system 1 detects that an anomaly has occurred in a vehicle, train, or other means of transportation in which people board, and controls the output of notifications regarding the anomaly. Furthermore, the anomaly detection system in this embodiment cancels the notification according to the operation of the driver or the driving condition of the vehicle.
  • abnormalities that occur inside the vehicle include events that indicate accidents. For example, an abnormality indicates an accident such as a fall of a person riding in the vehicle, a strong blow, or a collision between persons. In other examples, anomalies may include events such as a fire in the vehicle, the presence of a suspicious object, and the like.
  • abnormality may indicate an event including a sign that may lead to an accident.
  • the person is not holding onto the railing inside the vehicle, is not sitting in the seat, is standing near the door, moves while driving, crouches, is not wearing a seatbelt, or is too far away from each other.
  • a state or action such as near.
  • Other examples include the act of a person leaving luggage behind.
  • the anomaly detection system 1 is applied to a vehicle
  • the example in which the anomaly detection system 1 is applied is not limited to this.
  • the anomaly detection system 1 can be applied to public transportation such as trains and airplanes in addition to buses, taxis, and general vehicles.
  • FIG. 1 is a functional block diagram of an abnormality detection system 1 according to this embodiment.
  • the anomaly detection system 1 includes an anomaly information acquisition unit 101 , a driving situation analysis unit 102 and a control unit 103 .
  • the anomaly information acquisition unit 101 acquires anomaly information that is information indicating an anomaly that has occurred inside the vehicle.
  • the anomaly information includes information indicating whether or not an accident or a sign of an accident has occurred, the type, the location of the occurrence, the time of occurrence, and the like.
  • the type of anomaly information may indicate the occurrence of an accident itself or a sign, as well as the specific content of an accident or a sign, as exemplified above.
  • the vehicle is equipped with various sensors that detect the driver's operation of the driving device.
  • the various sensors acquire information (operation information) indicating the driver's operations on various driving devices, such as the amount of displacement of the steering wheel, the amount of depression of the brake pedal, and the operation of the shift lever. Note that when the vehicle control is electronically performed by the driving device, an electric signal emitted from the driving device may be acquired as the operation information.
  • the driving situation analysis unit 102 reads the operation information obtained from the driving device and analyzes it to generate the current driving situation of the vehicle.
  • Driving conditions are information including information indicating how the vehicle is moving, such as when the vehicle itself is traveling at a constant speed, accelerating, decelerating, turning right, turning left, and reversing.
  • the driving situation analysis unit 102 reads the operation information at regular intervals and generates the latest driving situation. Note that the driving situation analysis unit 102 may update the operation information and the driving situation to the latest information at regular intervals.
  • the control unit 103 controls the output of notifications regarding anomalies based on the anomaly information and the operating conditions. Specifically, the control unit 103 performs control to output a notification based on the abnormality information. Further, the control unit 103 receives that the driving condition is updated while the notification is being output, and performs control to stop the notification being output according to the updated driving condition. For example, if the driving situation indicates that the vehicle is turning right or accelerating while the notification is being output, there is a high possibility that the driver intentionally prioritizes running the vehicle over the notification regarding the abnormality. Therefore, if the updated driving situation indicates a right turn or acceleration while the notification is being output, the control unit 103 may perform control to stop the notification being output.
  • control unit 103 may control to stop the notification being output based on the operation information instead of the driving situation. For example, among the operation information, if the amount of depression of the accelerator pedal exceeds a threshold value while the notification is being output, there is a high possibility that the driver will ignore the abnormality notification and give priority to driving the vehicle. Therefore, when the updated operation information indicates depression of the accelerator pedal, the control unit 103 may control to stop outputting the notification.
  • the conditions for stopping the notification being output by the control unit 103 are not limited to the above. may The conditions for stopping the notification being output are not limited to the above examples.
  • the anomaly information acquisition unit 101 acquires anomaly information indicating an anomaly that has occurred in the vehicle (S101).
  • the driving situation analysis unit 102 analyzes the operation information acquired by the sensor and generates the driving situation of the vehicle (S102).
  • the control unit 103 controls the output of the abnormality notification based on the abnormality information and the operating conditions (S103).
  • the anomaly detection system 1 in this embodiment includes a control unit 103 that controls the output of notifications based on the anomaly information and the operating conditions. This makes it possible to prevent the notification from interfering with the driver's driving by flexibly controlling the output of the notification in consideration of the driving situation when the abnormality detected by the sensor is minor or when it is an erroneous detection. effect can be expected.
  • the abnormality detection system 2 according to the second embodiment will be described with reference to FIG.
  • FIG. 3 is a functional block diagram of the abnormality detection system 2 in this embodiment.
  • the abnormality detection system 2 in this embodiment includes an abnormality detection unit 201, an abnormality information acquisition unit 202, a driving information acquisition unit 204, a driving situation analysis unit 205, a determination unit 207, a control unit 208, a notification unit 209, and a storage unit 211.
  • an abnormality detection unit 201 an abnormality information acquisition unit 202, a driving information acquisition unit 204, a driving situation analysis unit 205, a determination unit 207, a control unit 208, a notification unit 209, and a storage unit 211.
  • the anomaly detection unit 201 is equipped with a sensor 2011, and detects an anomaly occurring inside the vehicle based on the information acquired by the sensor 2011.
  • the sensor 2011 is, for example, a camera, an infrared sensor, an acceleration sensor, or the like. Next, specific processing of the abnormality detection unit 201 will be described using an example in which the sensor 2011 is a camera.
  • the anomaly detection unit 201 estimates the posture of a person appearing in the image captured by the camera.
  • the posture can be estimated using a well-known technique.
  • the joint positions of a person appearing in an image are detected, and the posture is estimated based on changes in the joint positions.
  • a classifier is generated by performing machine learning using a histogram of a person image and a posture indicated by the person image in advance as teaching data, and the classifier is used to determine the posture of the person from an image of the person. to estimate
  • various methods for estimating the posture of a person appearing in an image can be used for estimating the posture of a person.
  • the anomaly detection unit 201 estimates the posture of a person captured by the camera, and detects that an anomaly has occurred when the estimated posture is a posture indicating the occurrence of an accident or a predetermined posture leading to a sign of an accident.
  • Predetermined postures that indicate the occurrence of an accident are postures such as falling, lying down, contact between people, crouching, and running.
  • the predetermined posture that indicates a sign of an accident may also be a posture such as standing without holding onto a handrail, walking, or the like.
  • the predetermined posture may be defined differently depending on whether the vehicle is running or stopped. For example, walking without grasping a handrail is a dangerous action if performed while running. Therefore, among the predetermined postures, some postures such as a posture indicating standing without holding a handrail and a posture indicating walking may be detected as postures indicating signs of an accident while the vehicle is running. good.
  • the anomaly detection unit 201 detects the existence of a person in a predetermined area such as the entrance/exit of the vehicle itself as an anomaly. More specifically, the anomaly detection unit 201 detects a person from an image captured inside the vehicle by the sensor 2011 . The anomaly detection unit 201 determines whether or not the detected person exists in a predetermined area, and detects an anomaly when the person exists in the predetermined area.
  • the predetermined area is a pre-defined aisle, etc., in addition to the entrance and exit of the vehicle. The reason for this is that, in a vehicle such as a bus, if a person is present near the boarding/alighting gate, there is a risk of colliding with a person getting on/off the vehicle.
  • the predetermined area is not limited to the above example, and may be a seat or the like that is set to be unusable, as long as it indicates a previously defined position or space.
  • the senor 2011 is not limited to a camera, and may be an infrared sensor, an acceleration sensor, an ultrasonic sensor, or the like. In that case, the sensor 2011 is installed around a predetermined area, determines whether or not a person exists in the predetermined area, and detects an abnormality. Alternatively, the sensor 2011 may be installed on a handrail, strap, or the like inside the vehicle, and detect an abnormality when the acceleration applied to the handrail, strap, or the like is equal to or greater than a threshold value.
  • the abnormality detection unit 201 may detect an abnormality that has occurred inside the vehicle by using the method of determining the presence or absence of danger described in Patent Document 1 (Japanese Patent Application Laid-Open No. 2016-62414).
  • the method adopted by the abnormality detection unit 201 is not limited to the above, and other well-known techniques may be used.
  • the anomaly information acquisition unit 202 When the anomaly detection unit 201 detects an anomaly, the anomaly information acquisition unit 202 generates anomaly information, which will be described later.
  • Anomaly information is information that includes the presence or absence of an accident or a sign of an accident, the type, the location of the anomaly, the time, etc.
  • the type of anomaly information may indicate the occurrence of an accident itself or a sign, as well as the specific content of an accident or a sign, as exemplified above.
  • the driving information acquisition unit 204 uses various sensors to acquire operation information indicating the driving operation of the vehicle, position information of the vehicle itself, and captured images showing the environment around the vehicle.
  • the driving information acquisition unit 204 acquires operation information at regular intervals using various sensors that detect driving operations.
  • the operation information is information indicating the operation of various devices provided in the driving device of the vehicle. For example, turning the steering wheel to the right, turning the steering wheel to the left, stepping on the accelerator pedal, stepping on the brake pedal, changing the force of stepping on the brake pedal or accelerator pedal in the direction of accelerating or decelerating the vehicle, flashing the blinker, etc. Indicates a safe driving maneuver.
  • a driving device is a device that accepts a driver's operation to control a vehicle, and controls various operations such as starting, stopping, turning right or left, etc. of the vehicle.
  • Various devices included in the driving device are devices that accept operations for operating the steering wheel, accelerator pedal, brake pedal, clutch pedal, gear, shift lever, turn signals, wipers, lights, and the like.
  • the driving information acquisition unit 204 acquires vehicle position information using various positioning sensors.
  • the driving information acquisition unit 204 may acquire position information by wireless communication as well as by a GPS sensor (Global Positioning System).
  • the driving information acquisition unit 204 acquires a captured image of the outside of the vehicle using a camera.
  • the captured image is an image showing the surrounding environment such as people walking around the vehicle, other vehicles, and signs and signals.
  • the type of camera is not limited to a visible light camera, and may be an infrared camera, a stereo camera, a fisheye camera, or the like.
  • the driving situation analysis unit 205 analyzes the operation information, the position information, and the captured image acquired by the driving information acquisition unit 204, and generates the driving situation including the movement situation and environment information described later. Further, the driving situation analysis unit 205 updates the latest driving situation by reading the operation information from the driving information acquisition unit 204 at regular intervals and generating the driving situation.
  • the driving situation analysis unit 205 generates a movement situation that is part of the driving situation by analyzing the operation information.
  • the movement status is information indicating how the vehicle itself is moving. For example, it indicates whether the vehicle itself is traveling at a constant speed, accelerating, decelerating, turning right, turning left, backing up, etc. Information.
  • the driving situation analysis unit 205 includes a discriminator, and generates a movement situation by inputting operation information to the discriminator.
  • the discriminator may be generated by machine learning, or may be constructed according to a rule base.
  • the driving situation analysis unit 205 generates movement situations.
  • the driver performs the action of ⁇ turning on the left turn signal'', ⁇ depressing the brake pedal'', and then ⁇ turning the steering wheel slightly to the left''. . Therefore, if the operation information indicates that the action of "turning on the left blinker", “depressing the brake pedal", and “turning the steering wheel to the left” is being performed continuously or simultaneously, the driving situation analysis unit 205 A movement status indicating "left turn” is generated based on the operation information.
  • the driver when intending to stop the vehicle, the driver generally performs the action of "turning on the left turn signal", “stepping on the brake”, and “turning the steering wheel to the left”. Therefore, if the operation information indicates that the operation of "turning on the left blinker", “stepping on the brake”, and “turning the steering wheel to the left” is performed continuously or simultaneously, the driving situation analysis unit 205 determines that the operation Based on the information, a travel situation indicating "intent to stop" is generated.
  • the driving situation analysis unit 205 may acquire the amount of operation of the steering wheel and determine the movement situation based on the amount of operation of the steering wheel in addition to the above conditions. Comparing the driving operations of ⁇ left turn'' and ⁇ intention to stop'', the driver turns the steering wheel to the left greatly when making a ⁇ left turn'', and turns the steering wheel slightly to the left when making an ⁇ intention to stop''. Therefore, in the above example, the driving situation analysis unit 205 generates a movement situation indicating "left turn” when the steering wheel operation amount is relatively large, and generates "left turn” when the steering wheel operation amount is relatively small. A travel situation indicating "intention to stop” may be generated. As a result, it is possible to determine the movement status in more detail.
  • the driver when making a lane change to the right lane, the driver typically performs the actions of "turn on the right turn signal", “press the accelerator pedal”, and “turn the steering wheel to the right”. . Therefore, if the operation information indicates that the action of "turning on the right blinker", “stepping on the accelerator pedal”, and “turning the steering wheel to the right” is being performed continuously or simultaneously, the driving situation analysis unit 205 Generate a movement situation indicating "lane change".
  • the example in which the driving situation analysis unit 205 generates the movement situation based on the operation information is not limited to the above.
  • the above “intention to stop” is an example assuming that the vehicle will stop on the left shoulder of the road, but in some countries the vehicle may stop on the right shoulder.
  • the operation information "turn the steering wheel to the right” may be adopted as the basis for generating the movement state indicating "intention to stop”.
  • the driving situation analysis unit 205 analyzes the position information and the captured image, and outputs environmental information that is part of the driving situation.
  • the environmental information is information indicating the environment around the vehicle, such as intersections, entrances to highways, closed areas, restricted areas, congested areas, and surroundings of stops.
  • the driving situation analysis unit 205 outputs environmental information indicating whether the vehicle is located at an intersection or at the entrance of a highway by comparing the position information with existing map information.
  • the driving situation analysis unit 205 determines whether the vehicle is congested, closed, or otherwise restricted based on the position information. generates environmental information indicating that it exists within the target area of
  • the driving situation analysis unit 205 analyzes an object appearing in the captured image, and generates environment information indicating that the vehicle is in a restricted area when a sign indicating road closure or restriction appears in the captured image. In addition, the driving situation analysis unit 205 generates environment information indicating that the vehicle is located at an intersection when a traffic light appears in the captured image.
  • the processing of the driving situation analysis unit 205 is not limited to the above example, and environment information may be output based on both the position information and the captured image.
  • the driving situation analysis unit 205 obtains environmental information indicating "just before a pedestrian crossing" based on the position information indicating "a point with a straight road without an intersection” and the captured image "showing a person crossing the road”. may be generated.
  • the driving situation analysis unit 205 generates the driving situation including the movement situation and the environment information by analyzing the operation information, the position information, and the captured image.
  • the determination unit 207 includes an identifier that identifies whether the driving situation corresponds to a situation in which notification should be stopped.
  • the determination unit 207 determines whether or not the driving situation corresponds to the situation in which the notification should be stopped using the discriminator.
  • the determination unit 207 makes a determination each time the driving situation is updated.
  • the discriminator may be constructed according to a rule base, or may be machine-learned.
  • a storage unit (not shown) stores a database that associates abnormality information, operating conditions, and necessity of notification stop targets. More specifically, the database stores information in which abnormality information, movement status and environment information, and necessity of notification stop target are associated with each other.
  • the discriminator of the determination unit 207 refers to the database and determines whether or not the driving situation is a predetermined situation for which notification is to be stopped. A predetermined situation that is the target of notification suspension is specified by a combination of the movement situation and the environmental information.
  • the predetermined situation may be a situation in which the movement situation indicates “deceleration” or “acceleration” regardless of the environmental situation, or a situation in which the environmental situation indicates “highway speed” regardless of the driving situation. It may be a situation indicating "entrance”.
  • Predetermined situations that are targets for notification suspension are not limited to the above examples.
  • the determination unit 207 determines whether or not the driving situation is a predetermined situation for which notification is to be stopped, using a discriminator obtained by machine learning.
  • the discriminator is obtained, for example, by performing supervised learning with abnormal information, movement status, and environmental information as input data and with the propriety of notification stop targets as output data. Further, the discriminator may be obtained by performing supervised learning with only one of the movement status and the environment information as input data in addition to the abnormality information, and with the propriety of the notification stop target as output data. .
  • the determination unit 207 uses a discriminator to input the abnormality information and the driving situation, and outputs whether or not the notification is to be stopped.
  • the control unit 208 includes a notification control unit 2081.
  • the notification control unit 2081 controls the notification unit 209 to output a notification based on the acquired abnormality information.
  • the notification control unit 2081 controls to stop the notification being output according to the updated driving situation.
  • the notification control unit 2081 may control to stop the notification being output based on the operation information instead of the driving situation. For example, among the operation information, if the amount of depression of the accelerator pedal exceeds a threshold value while the notification is being output, there is a high possibility that the driver will ignore the abnormality notification and give priority to driving the vehicle. Therefore, when the updated operation information indicates depression of the accelerator pedal, the control unit 103 may control to stop outputting the notification. Operation information that serves as a condition for stopping a notification that is being output can be set as appropriate.
  • the notification unit 209 receives control from the notification control unit 2081 and outputs notifications such as video and audio.
  • the notification unit 209 may be a display that the driver can check, a speaker, a tablet, a smart phone, a wearable device, or a combination of these devices. If the notification unit 209 is the display device 104B such as a display, the notification unit 209 displays abnormality information indicating the detected abnormality. For example, if the abnormality detected in the vehicle is "fall of a person", the notification unit 209 outputs information indicating "fall of a person", information indicating that the abnormality is "occurrence of an accident", and Display the position and time in the car.
  • the notification unit 209 outputs information indicating ⁇ presence of a person standing without holding on to the handrail'', and the abnormality is ⁇ accident It displays information indicating that it is a sign of failure, and the location and time in the vehicle where the abnormality occurred.
  • the notification unit 209 may output part or all of the information displayed by the notification unit 209 by voice.
  • the notification unit 209 may output the information that is the basis for the abnormality detection acquired by the sensor 2011 .
  • the information that serves as the basis for the abnormality detection is video, image, sound, and other sensor information acquired by the sensor 2011 .
  • the anomaly detection unit 201 detects an anomaly occurring inside the vehicle based on the information acquired by the sensor 2011 (S201).
  • the anomaly information acquisition unit 202 generates anomaly information in response to the anomaly detection unit 201 detecting an anomaly (S202).
  • the control unit 208 controls the notification unit 209 to output a notification based on the abnormality information (S203).
  • the driving information acquisition unit 204 acquires operation information indicating the driving operation of the vehicle, position information of the vehicle itself, and captured images showing the environment around the vehicle using various sensors (S204).
  • the driving situation analysis unit 205 analyzes the operation information, the position information, and the captured image acquired by the driving information acquisition unit 204, and outputs the driving situation including the movement situation and the environment information (S205).
  • the determination unit 207 uses an identifier to determine whether or not the driving situation corresponds to a situation in which notification should be stopped (S206).
  • the control unit 208 controls the notification unit 209 to stop outputting the notification based on the determination result of the determination unit 207 (S207).
  • the notification unit 209 stops notification under the control of the control unit 208 .
  • the control unit 208 includes a vehicle control unit 2082, and the vehicle control unit 2082 disables part of the driving operation based on the abnormality information and the determination result of the determination unit 207. It differs from the above-described embodiment in that it controls the operation. In addition, in the description of this embodiment, the description overlapping with the above-described embodiment will be omitted.
  • FIG. 5 is a functional block diagram of the control unit 208 included in the anomaly detection system 2 in this embodiment.
  • Control unit 208 further includes vehicle control unit 2082 .
  • Vehicle control unit 2082 controls the operation of the vehicle so as to invalidate part of the driving operation based on the abnormality information. Disabling the driving operation refers to controlling the operation of the vehicle so as not to accept part of the driving operation of the driver.
  • the vehicle control unit 2082 controls the vehicle so as to invalidate the acceleration due to the driver's driving operation.
  • the driving operation to be invalidated may be limited to the one related to acceleration, and the deceleration caused by depressing the brake pedal may not be invalidated.
  • the abnormality information on which the vehicle control unit 2082 performs control is not limited to the above example. Further, it is preferable that the driving operation that is disabled by the vehicle control unit 2082 is limited to minor control such as disabling acceleration.
  • the methods for disabling the acceleration include simply disabling the acceleration instruction by the accelerator pedal, changing the gear of the vehicle to the neutral state, and disengaging the clutch in the case of a manual vehicle. A method such as changing to a stepped state may be adopted. Examples of driving maneuvers to be invalidated are not limited to this.
  • the vehicle control unit 2082 cancels the vehicle control being executed based on the determination result of the determination unit 207 .
  • the vehicle control unit 2082 disables part of the driving operation of the driver when an abnormality occurs, and when the driving situation satisfies the predetermined situation, the vehicle control unit 2082 controls the vehicle so as to cancel the invalidation of the driving operation.
  • the determination result of the determination unit 207 indicates whether or not the driving condition for the acquired abnormality information satisfies a predetermined condition, as in the other embodiments.
  • the vehicle control unit 2082 disables the acceleration due to the driving operation of the vehicle based on the abnormality information. If the driver continuously depresses the accelerator pedal under this situation, there is a high possibility that the driver is trying to ignore the control of the vehicle control unit 2082 . Even though the vehicle control unit 2082 has disabled the acceleration due to the driving operation, if the driver continuously depresses the accelerator pedal or otherwise attempts the disabled driving operation, the vehicle control unit 2082 disables the driving operation. Control the vehicle so that it disengages.
  • a storage unit (not shown) stores a database in which the details of driving operations disabled by the vehicle control unit 2082 are associated with predetermined situations indicating conditions for canceling the disablement.
  • the determination unit 207 determines whether or not the driving condition satisfies a predetermined condition by referring to the database. Vehicle control unit 2082 receives the determination result and cancels the invalidation of the driving operation. In other words, the determination unit 207 determines whether to invalidate the control of the vehicle by the driver's driving operation based on the abnormality information and the driving situation. Note that the above is an example used for convenience of explanation, and the conditions for canceling the invalidation of a part of the driving operation are not limited to the above.
  • the vehicle control unit 2082 controls the operation of the vehicle so as to invalidate part of the driving operation based on the abnormality information (S601).
  • the driving information acquisition unit 204 acquires information indicating vehicle driving information (S204). Further, the driving situation analysis unit 205 analyzes the driving information acquired by the driving information acquiring unit 204 and generates a driving situation (S205). The determination unit 207 determines whether or not the output driving situation satisfies a predetermined condition (S206).
  • step S206 the vehicle control unit 2082 cancels the invalidation of the executed driving operation based on the determination result of the determination unit 207 (S603).
  • the vehicle control unit 2082 may cancel the invalidation of the driving operation, and the notification control unit 2081 included in the control unit 208 may control to stop the notification being output.
  • the anomaly detection system of the present embodiment when an anomaly is detected, control is executed to invalidate a part of the driving operation, and in addition, the invalidation of the driving operation is released according to the driving situation. This allows the driver to secure time to check the status of the notification, and prompts the driver to take an appropriate response to the detection of an abnormality.
  • an abnormality detection system 2 according to the fourth embodiment will be described.
  • the abnormality detection system 2 in the present embodiment differs from the above-described embodiments in that the determination unit 207 determines the driving situation, and the notification control unit 2081 determines the timing for outputting a notification according to the determination result and the abnormality information. differ.
  • the description overlapping with the above-described embodiment will be omitted.
  • a determination unit 207 determines whether or not the driving condition is a predetermined condition, as in the previous embodiment. In addition, it is preferable that the determination unit 207 determines whether or not the current driving situation corresponds to a predetermined situation at regular time intervals.
  • the notification control unit 2081 controls the output of notifications based on the anomaly information as in the previous embodiment.
  • the notification control unit 2081 determines whether the abnormality information indicates the occurrence of an accident itself or indicates a sign of an accident. Determine the timing to output the notification accordingly.
  • the notification control unit 2081 controls the notification unit 209 to notify at the determined timing.
  • the driving device receives a complicated driving operation such as lane change at the time when an abnormality occurs inside the vehicle.
  • the anomaly information acquisition unit 202 acquires anomaly information.
  • the determination unit 207 determines that the driving situation corresponds to a predetermined situation of "lane change”.
  • Notification control unit 2081 receives that the determination result is "lane change" under a predetermined situation, and determines whether to give priority to notification or "lane change" according to the content of the abnormality information. For example, if the anomaly information suggests that an accident such as "a motion of a person crouching down" has occurred, there is a high possibility that an emergency has occurred.
  • the notification control unit 2081 controls to immediately output a notification indicating the content of the abnormality before the determination unit 207 determines that the state of "lane change” has been resolved.
  • the urgency is low when the anomaly information indicates "existence of a person standing without holding onto the handrail".
  • notification control unit 2081 controls to output a notification indicating the content of the abnormality after determination unit 207 determines that the state of “lane change” has been resolved.
  • the notification control unit 2081 when the driving condition is a predetermined condition, the notification control unit 2081 outputs a notification before the predetermined condition is resolved, or outputs a notification after the Change timing such as whether to output.
  • the abnormality detection unit 201 detects an abnormality occurring inside the vehicle based on the information acquired by the sensor 2011 (S401).
  • the anomaly information acquisition unit 202 generates anomaly information in response to the anomaly detection unit 201 detecting an anomaly (S402).
  • the driving information acquisition unit 204 acquires information indicating vehicle driving information (S403).
  • the driving situation analysis unit 205 analyzes the driving information acquired by the driving information acquisition unit 204 and generates a driving situation (S404).
  • the determination unit 207 determines whether or not the driving situation is a predetermined situation (S405). If the operation status or movement status satisfies a predetermined status among the determination results (S406, YES), the notification control unit 2081 performs to determine the timing of outputting the notification (S407). If the determination result does not satisfy the predetermined condition (S406, NO), the process proceeds to step S408.
  • the notification control unit 2081 controls the notification unit 209 to notify (S408). Here, if the notification output timing is determined in step S403, the notification control unit 2081 controls to output the notification at the timing.
  • Steps S205 to S207 may be executed following step S408.
  • the timing of outputting a notification can be flexibly changed according to the importance of the abnormality that has occurred and the driving situation in which the vehicle is placed.
  • the anomaly detection system 2 in the fourth embodiment changes the timing of outputting the notification according to the driving conditions of the vehicle
  • the notification means may be changed according to the driving conditions of the vehicle.
  • the notification unit 209 is a display and a speaker
  • the notification unit 209 is a display and a speaker
  • the notification is not performed by the speaker, and only the notification is performed by the display.
  • an abnormality indicates the occurrence of an accident, it may be designed so that notification is given by both the display and the speaker.
  • the display and speaker described above are only examples, and the example of changing the notification means is not limited to this.
  • the notification output may be changed.
  • the notification control unit 2081 cancels the state in which the determination unit 207 indicates "lane change”. After determining that the error has occurred, control is performed to output a notification indicating the content of the error.
  • the notification control unit 2081 cancels the state in which the determination unit 207 indicates "lane change”.
  • Control is performed so that a notification indicating the content of the abnormality is output before it is determined that the abnormality has occurred.
  • the above specific example is merely an example, and the abnormality information to be notified, driving conditions, and the like are not limited to the above.
  • An abnormality detection system 2 in this modified example will be described.
  • the anomaly information acquisition unit 202 generates anomaly information including the reliability of the anomaly detection
  • the control unit 208 varies the control based on the determination result and the reliability of the determination unit 207. , is different from the embodiment described above.
  • the description overlapping with the above-described embodiment will be omitted.
  • the anomaly information acquisition unit 202 generates anomaly information including a certainty indicating the probability that an anomaly has occurred in the vehicle.
  • the control unit 208 changes the control of the operating device or the notification unit 209 based on the determination result and reliability of the determination unit 207 . For example, when the reliability is less than the first threshold, the control unit 208 controls both the display and the speaker of the notification unit 209 to output the notification, but does not control the vehicle. Further, when the reliability is less than the second threshold, which is smaller than the first threshold, the control unit 208 performs control to output the notification only to the display included in the notification unit 209 .
  • the above first and second threshold values can be changed by the operation of the driver or system administrator.
  • the first and second threshold values may be changed by an input device (not shown) attached near the driver's seat, such as a steering wheel.
  • the first and second thresholds may be changed for each abnormality to be detected, or the first and second thresholds may be changed for each sensor 2011 that detects an abnormality. .
  • appropriate detection accuracy can be maintained even when abnormalities are detected too sensitively during driving.
  • the control unit 208 may execute processing for erasing the notification, making an announcement in the vehicle, making an emergency call, etc. by operating an input device (not shown).
  • the input device is, for example, a button installed near the driver's seat such as a steering wheel, a touch panel, an audio sensor, or the like, but is not limited thereto.
  • an input device may input the driver's judgment on the detected abnormality.
  • the input device is provided with the following three items.
  • the driver determines which of the above items the abnormality detection corresponds to, and selects the corresponding item on the input device.
  • the notification unit 209 immediately stops notification.
  • the notification unit 209 executes the notification again after a certain period of time and changes the content of the notification. For example, the notification unit 209 only notifies the content and time of occurrence of the abnormality, but additionally notifies the position in the vehicle where the abnormality occurred on the condition that item B is selected.
  • the notification unit 209 changes the content of the abnormality information to be notified. can be designed.
  • the anomaly detection system (1, 2) is equipped with a computer, and the function of the anomaly detection system (1, 2) can be realized by causing the computer to execute a program. Further, the abnormality detection system (1, 2) executes the abnormality detection method of the abnormality detection system (1, 2) by the program. Also, the program can be recorded in a computer-readable program storage medium.
  • Each functional unit of the anomaly detection system (1, 2) includes at least one CPU (Central Processing Unit) of any computer, at least one memory, a program loaded into the memory, and at least one hard disk storing the program. It is implemented by an arbitrary combination of hardware and software centering on a storage unit such as a network connection interface and the like. It should be understood by those skilled in the art that there are various modifications to this implementation method and apparatus.
  • the storage unit can store not only programs stored before shipment of the device, but also programs downloaded from recording media such as optical discs, magneto-optical discs, semiconductor flash memories, and servers on the Internet.
  • FIG. 8 is a block diagram illustrating the hardware configuration of the anomaly detection system (1, 2).
  • the anomaly detection system (1, 2) has a processor 1A, a memory 2A, an input/output interface 3A, a peripheral circuit 4A, a communication interface 5A and a bus 6A.
  • the peripheral circuit 4A includes various modules.
  • the anomaly detection system (1, 2) may not have the peripheral circuit 4A.
  • the anomaly detection system (1, 2) may be composed of a plurality of physically and/or logically separated devices. In this case, each of the plurality of devices can have the above hardware configuration.
  • a bus 6A is a data transmission path for mutually transmitting and receiving data between the processor 1A, memory 2A, input/output interface 3A, peripheral circuit 4A, and communication interface 5A.
  • the processor 1A is, for example, an arithmetic processing device such as a CPU, a GPU (Graphics Processing Unit), or a microprocessor.
  • the processor 1A can, for example, execute processing according to various programs stored in the memory 2A.
  • the memory 2A is a memory such as RAM (Random Access Memory) or ROM (Read Only Memory), for example, and stores programs and various data.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the input/output interface 3A is an interface for acquiring information from an input device, an external device, an external storage unit, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external storage unit, etc. including.
  • the input device is, for example, a touch panel, keyboard, mouse, microphone, camera, or the like.
  • Output devices are, for example, displays, speakers, printers, lamps, and the like.
  • the processor 1A can issue commands to each module and perform calculations based on their calculation results.
  • the communication interface 5A enables the abnormality detection system (1, 2) to communicate with an external device (not shown). Some functions of the anomaly detection system (1, 2) may be configured by a computer.
  • Some functions of the anomaly detection system (1, 2) may be configured by a computer.
  • the configurations of the above-described embodiments may be combined or partly replaced.
  • the configuration of the present invention is not limited to the above-described embodiments, and various modifications may be made without departing from the gist of the present invention. For example, the configurations and processes disclosed in each embodiment and modifications may be combined with each other.
  • Video analysis system configuration example A configuration example of the video analysis system 1B including the configuration of the above embodiment will be described.
  • the video analysis system 1B can include an anomaly detection system 101B including the configuration of the embodiment described above, an analysis device 102B, a storage device 103B, a display device 104B, and a sensor device 105B. These various devices are connected to each other wirelessly or by wire and can communicate with each other.
  • a camera included in the video analysis system 1B a camera included in various devices included in the video analysis system 1B, or a camera capable of communicating with various devices included in the video analysis system 1B will be described.
  • the camera may be an IP (Internet Protocol) camera.
  • the IP camera may include at least part of the configuration or functionality of the server. For example, the IP camera may extract some data from the captured image and transmit some data to the server. Also, the IP camera may cut out and store or transmit a video only when an abnormality occurs, or may store or transmit a person's feature amount extracted from the video.
  • the type of camera may be a visible light camera, an infrared camera, a stereo camera capable of measuring depth, a depth camera, an omnidirectional camera, a camera with a fisheye lens, or the like.
  • a plurality of cameras may be provided, and both an infrared light camera and a visible light camera may be provided.
  • the display device 104B displays an image captured by a camera or the like.
  • the display device 104B may display a substitute image indicating the presence of a person instead of the person image appearing in the video.
  • Examples of alternative images include icons, skeletal information, masked images, and images showing only the outline of a person.
  • Various sensors such as an infrared sensor and a depth sensor may be used to acquire the substitute image.
  • the substitute image may move on the video according to the movement of the person captured by the camera.
  • the analysis device 102B uses information obtained by a sensor other than the camera in combination with the image captured by the camera or instead of the image to specify the position.
  • the different sensor is a microphone, which picks up the sound emitted by the object or person.
  • the different sensor is a radio wave receiving device that acquires a sensor transmitted by a beacon possessed by a target object or target person. In this case, the radio wave receiving device acquires the relative distance and spatial relative position to the beacon.
  • the different sensor is an infrared sensor, and the amount of change in infrared light received by the sensor may be detected. Based on a 360-degree panoramic image, the position of a person or object in the panoramic image may be obtained.
  • the analysis device 102B may detect the following actions of a person appearing in an image or video. Predetermined actions to be detected include, for example, high fives, folding shoulders, waving a towel, blowing a whistle, sounding a musical instrument, waving a large flag, and cheering accompanied by group movements.
  • the analysis device 102B detects a motion of a person leaving an object behind, a staggering motion, a motion of pushing a stroller or a wheelchair, a motion of standing still, a motion of using a cane, or a motion of holding a suitcase in an image or video captured by a camera. good too. Note that the analysis device 102B may detect the motion based on the skeleton information of the person.
  • the analysis device 102B may detect, as an abnormal action, an action different from that of another person appearing at the same time or at different times in the image or video captured by the camera.
  • the anomaly detection system 101B may include some of the functions and configurations of various devices (analysis device 102B, storage device 103B, display device 104B, sensor device 105B) included in the video analysis system 1B. Further, the anomaly detection system 101B may cooperate with various devices included in the video analysis system 1B to implement the present invention by taking in the functions of the various devices.
  • the configuration of the present invention is not limited to the above-described embodiments, and various modifications may be made without departing from the gist of the present invention.

Abstract

本発明における異常検知システムは、車両内で発生した異常を示す異常情報を取得する異常情報取得部と、前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する運転状況解析部と、前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する制御部と、を備える。

Description

異常検知システム、異常検知方法及びプログラム記録媒体
　本発明は、異常検知システム、異常検知方法及びプログラム記録媒体に関する。
　特許文献１には、公共交通機関の車両内での乗客の転倒を防止するために、乗客の乗車状態と車両の走行状態との両方に基づいて乗客の安全に関する報知を行う車内監視装置が開示されている。
特開２０１６－６２４１４号公報
　特許文献１に例示されている技術は、報知自体が軽微な検知や誤検知に基づくものである場合に、実行された報知に対して柔軟な対応を行うことを想定したものではない。
　本発明は、上記の問題に鑑み、報知後の対応を柔軟に行う手段を提供することができる異常検知システム、異常検知方法及びプログラム記録媒体を提供することを目的とする。
　本発明の一つの観点によれば、車両内で発生した異常を示す異常情報を取得する異常情報取得部と、前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する運転状況解析部と、前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する制御部と、を備える異常検知システムを提供する。
　本発明の一つの観点によれば、車両内で発生した異常を示す異常情報を取得し、前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成し、前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する、異常検知方法を提供する。
　本発明の他の観点によれば、コンピュータに、車両内で発生した異常を示す異常情報を取得する処理と、前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する処理と、前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する処理と、を実行させるプログラムを記録したプログラム記録媒体を提供する。
　本発明によれば、報知後の対応を柔軟に行うことができる異常検知システム、異常検知方法及びプログラム記録媒体を提供することができる。
第１実施形態における異常検知システムの機能ブロック図を示す一例である。 第１実施形態の処理の流れを示すフローチャートの一例である。 第２実施形態における異常検知システムの機能ブロック図を示す一例である。 第２実施形態の処理の流れを示すフローチャートの一例である。 第３実施形態における異常検知システムの機能ブロック図を示す一例である。 第３実施形態の処理の流れを示すフローチャートの一例である。 第４実施形態の処理の流れを示すフローチャートの一例である。 各実施形態における異常検知システムのハードウェア構成の一例である。 各実施形態における異常検知システムと連携する映像解析システムの構成例である。
　以下、図面を参照しつつ本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
［第１実施形態］
　本実施形態における異常検知システム１は、人物が乗車する車両や列車等の交通機関において、車内で異常が発生したことを検知し、異常に関する通知の出力を制御する。さらに、本実施形態における異常検知システムは、運転手の操作または車両の運転状況に応じて通知を解除する。
　車内で発生する「異常」とは事故を示す事象を含む。例えば、異常とは、乗車している人物の転倒、強打、人物間の衝突等の事故を示す。他の例では、異常とは車内での発火、不審物の存在等の事象を含んでもよい。
　また、「異常」とは、事故に繋がり得る予兆を含む事象を示すものであってもよい。例えば、人物が車内の手すりに掴まっていないという状態である他、座席に座っていない、乗降口付近に立つ、走行中に移動する、うずくまる、シートベルトを装着していない、人物同士の距離が近い等の状態または動作である。その他の例では、人物が荷物を置き去る行為等も挙げられる。
　また、以降は異常検知システム１を車両に適用した例を用いて説明するが、異常検知システム１が適用される例はこれに限定されない。異常検知システム１は、バス、タクシー、一般車両等の他、列車、航空機等、人物が搭乗する交通機関において適用可能である。
　図１を用いて本実施形態における異常検知システム１を説明する。図１は本実施形態における異常検知システム１の機能ブロック図である。異常検知システム１は、異常情報取得部１０１、運転状況解析部１０２、制御部１０３を備える。
　異常情報取得部１０１は、車内で発生した異常を示す情報である異常情報を取得する。異常情報は、事故または事故の予兆の発生の有無、種類、発生した位置、時刻等を示す情報を含む。異常情報の種類とは、事故の発生そのものであるか、予兆であるかを示す情報に加え、先に例示したような、事故または予兆の具体的な内容を示すものであってもよい。
　車両には運転装置に対する運転手の操作を検出する各種センサが備えられる。各種センサとは、例えばハンドルの変位量、ブレーキペダルの踏み込み量、シフトレバー操作等、各種運転装置に対する運転手の操作を示す情報（操作情報）を取得するものである。なお、運転装置による車両制御が電子的に行われる場合は、当該運転装置から発せられた電気信号を操作情報として取得してもよい。
　運転状況解析部１０２は、運転装置から得られた操作情報を読み出し、解析を行うことで車両の現在の運転状況を生成する。運転状況とは、車両自体の定速走行中、加速中、減速中、右折中、左折中、後退中、等の車両がどのように移動しているかを示す情報を含む情報である。運転状況解析部１０２は、一定の周期で操作情報を読み出し、最新の運転状況を生成する。なお、運転状況解析部１０２は、一定の周期で操作情報と運転状況を最新の情報に更新してもよい。
　制御部１０３は、異常情報と運転状況とに基づき、異常に関する通知の出力を制御する。具体的には、制御部１０３は、異常情報に基づき通知を出力するように制御を行う。さらに、制御部１０３は通知の出力中に運転状況が更新されたことを受け、更新された運転状況に応じて出力中の通知を停止するように制御を行う。例えば、通知が出力されている間に運転状況が車両の右折や加速を示す場合、運転手は意図して異常に関する通知よりも車両の走行を優先させている可能性が高い。従って、通知の出力中に更新された運転状況が右折や加速を示す場合、制御部１０３は出力中の通知を停止するように制御してもよい。
　また、制御部１０３は運転状況に代えて、操作情報に基づき出力中の通知を停止させるように制御してもよい。例えば、操作情報のうち、通知の出力中にアクセルペダルの踏み込み量が閾値を超えた場合、運転手は異常に関する通知を無視して、車両の走行を優先させている可能性が高い。従って、更新された操作情報がアクセルペダルの踏み込みを示す場合、制御部１０３は通知の出力を停止するように制御してもよい。
　制御部１０３が出力中の通知を停止させる条件は上記に限定されず、運転状況が左折や減速、バック等を示す場合や、操作情報におけるハンドルの変位量やシフトレバー操作等に基づくものであってもよい。出力中の通知を停止させる条件は上記の例に限定されない。
　図２を用いて本実施形態における異常検知システム１の処理の流れを説明する。異常情報取得部１０１は車両内で発生した異常を示す異常情報を取得する（Ｓ１０１）。次に、運転状況解析部１０２は、センサにより取得された操作情報を解析し、車両の運転状況を生成する（Ｓ１０２）。次に、制御部１０３は、異常情報と運転状況とに基づき、異常に関する通知の出力を制御する（Ｓ１０３）。
　本実施形態における異常検知システム１は、異常情報と運転状況とに基づき、通知の出力を制御する制御部１０３を備える。これにより、センサが検知した異常が軽微な場合や、誤検知である場合に、運転状況を鑑みて通知の出力を柔軟に制御することで、通知が運転手の運転の妨げになることを防げるという効果が期待できる。
［第２実施形態］
　次に図３を用いて第２実施形態における異常検知システム２を説明する。図３は本実施形態における異常検知システム２の機能ブロック図である。本実施形態における異常検知システム２は、異常検知部２０１、異常情報取得部２０２、運転情報取得部２０４、運転状況解析部２０５、判定部２０７、制御部２０８、通知部２０９、記憶部２１１を備える。なお、本実施形態の説明においては上述した実施形態と重複する説明は省略する。
　異常検知部２０１はセンサ２０１１を備え、センサ２０１１が取得した情報を基に車内で発生する異常を検知する。センサ２０１１は、例えばカメラや赤外線センサ、加速度センサ等である。次に、センサ２０１１がカメラである場合の例を用いて、異常検知部２０１の具体的な処理を説明する。
　センサ２０１１がカメラである場合について説明する。センサ２０１１は車内の一定範囲を撮像する。異常検知部２０１は、カメラが撮像した画像に映る人物の姿勢を推定する。姿勢の推定は周知技術を利用することで実現可能であるが、一例では、画像に映る人物の関節位置を検知し、関節位置の変化に基づき姿勢を推定する。また、他の例では、予め人物画像のヒストグラムと当該人物画像が示す姿勢を教師データとして機械学習を行うことで識別器を生成し、当該識別器を用いて人物が映る画像から当該人物の姿勢を推定する。その他、人物の姿勢推定には画像に映る人物の姿勢を推定する種々の手法を用いることができる。異常検知部２０１は、カメラに映る人物の姿勢を推定し、推定した姿勢が事故の発生を示す姿勢または事故の予兆に繋がる所定の姿勢である場合に、異常が発生したことを検知する。
　事故の発生を示す所定の姿勢とは、転倒、横たわる、人物間の接触、うずくまる、走る等の姿勢である。事故の予兆を示す所定の姿勢とは、また、所定の姿勢とは手すりに掴まずに立つ、歩行等の姿勢であってもよい。なお、所定の姿勢とは車両の走行中と停車中とで異なるように定義してもよい。例えば、手すりを掴まない、歩行等は走行中に行われると危険な動作である。従って、所定の姿勢のうち、手すりを掴まずに立つことを示す姿勢、歩行を示す姿勢等の一部の姿勢は、車両の走行中において事故の予兆を示す姿勢として検知するものであってもよい。
　また、異常検知部２０１は車内の乗降口等の所定のエリアに人物が存在すること自体を異常として検知する。より具体的には、異常検知部２０１はセンサ２０１１が車両内を撮像した画像から人物を検知する。異常検知部２０１は、検知した人物が所定のエリアに存在するか否かを判定し、所定のエリアに存在する場合に、異常を検知する。所定のエリアとは、車両の乗降口の他、予め定義された通路等である。その理由は、バス等の車両においては、乗降口付近に人物が存在すると、乗降する人物と衝突する恐れがあるためである。また、車両内において手すりの無い通路に人物が立つと転倒の危険があるためである。所定のエリアとは上記の例に限定されず、使用不可と設定された座席等であってもよく、予め定義された位置や空間を示すものであればよい。
　なお、センサ２０１１はカメラに限らず、赤外線センサ、加速度センサ、超音波センサ等であってもよい。その場合、センサ２０１１は所定のエリア周囲に設置され、人物が所定のエリアに存在するか否かを判定し、異常を検知する。また、センサ２０１１は車内の手すりや吊革等に設置され、手すりやつり革等に加わる加速度が閾値以上である場合に異常を検知してもよい。
　なお、異常検知部２０１は、特許文献１（特開２０１６－６２４１４号公報）に記載されている危険の有無を判定する手法を用いることで、車内で発生した異常を検知してもよい。異常検知部２０１が採用する手法は上記に限定されず、その他の周知技術を用いてもよい。
　異常情報取得部２０２は、異常検知部２０１が異常を検知すると、後述する異常情報を生成する。
　異常情報とは、事故または事故の予兆の発生の有無、種類、異常が発生した位置、時刻等を含む情報である。異常情報の種類とは、事故の発生そのものであるか、予兆であるかを示す情報に加え、先に例示したような、事故または予兆の具体的な内容を示すものであってもよい。
　運転情報取得部２０４は、各種センサを用いて車両の運転操作を示す操作情報、車両自体の位置情報、及び車両周囲の環境を映した撮像画像を取得する。
　運転情報取得部２０４は、運転操作を検知する各種センサを用いて一定の周期で操作情報を取得する。
　操作情報とは、車両の運転装置が備える各種装置の操作を示す情報である。例えば、ハンドルを右に切る、ハンドルを左に切る、アクセルペダルを踏む、ブレーキペダルを踏む、車両を加減速させる方向にブレーキペダルやアクセルペダルを踏む力を変える、ウインカーを点滅させる等の一般的な運転操作を示す。
　なお。運転装置とは車両を制御するために運転手の操作を受け付け、車両の発車、停車、右左折等の各種動作を制御する装置を示す。なお、運転装置が備える各種装置は、ハンドル、アクセルペダル、ブレーキペダル、クラッチペダル、ギア、シフトレバーの他、ウインカー、ワイパー、ライト等を動作させるための操作を受け付ける装置である。
　運転情報取得部２０４は、各種測位センサを用いて車両の位置情報を取得する。運転情報取得部２０４は、GPSセンサ（Global Positioning System）の他、無線通信によって位置情報を取得してもよい。
　また、運転情報取得部２０４は、カメラを用いて車両外を撮像した撮像画像を取得する。撮像画像は、車両周囲を歩行する人物、他の車両、標識や信号等の周辺環境を映した画像である。カメラの種別は可視光カメラに限定されず、赤外線カメラの他、ステレオカメラ、魚眼カメラ等であってもよい。
　運転状況解析部２０５は、運転情報取得部２０４が取得した操作情報、位置情報、撮像画像を解析し、後述する移動状況と環境情報とを含む運転状況を生成する。また、運転状況解析部２０５は、一定の周期で運転情報取得部２０４から操作情報を読み出し、運転状況を生成することで、最新の運転状況を更新する。
　次に、運転状況解析部２０５が行う解析処理について説明する。
　運転状況解析部２０５は、操作情報を解析することで運転状況の一部である移動状況を生成する。移動状況とは、車両自体がどのような移動を行っているかを示す情報であり、例えば、車両自体の定速走行中、加速中、減速中、右折中、左折中、後退中、等を示す情報である。運転状況解析部２０５は識別器を備え、識別器に操作情報を入力することで移動状況を生成する。識別器は機械学習により生成されたものであってもよいし、ルールベースにより構築されたものであってもよい。
　次に、運転状況解析部２０５が移動状況を生成する例を説明する。一般に、運転中の運転手が車両を左折させる場合、運転手は「左ウインカーを出す」動作を行い、「ブレーキペダルを踏み込む」動作を行った後、「ハンドルを小さく左に切る」動作を行う。従って、運転状況解析部２０５は、操作情報が「左ウインカーを出す」動作、「ブレーキペダルを踏み込む」動作、「ハンドルを左に切る」動作が連続的または同時に行われていることを示す場合、操作情報に基づき「左折」を示す移動状況を生成する。
　また、他の例では、停車企図する場合、一般に運転手は「左ウインカーを出す」動作を行い、「ブレーキを踏む」動作を行うとともに「ハンドルを大きく左に切る」動作を行う。従って、運転状況解析部２０５は、操作情報が「左ウインカーを出す」動作、「ブレーキを踏む」動作、「ハンドルを左に切る」動作が連続的又は同時に行われていることを示す場合、操作情報に基づき「停車企図」を示す移動状況を生成する。
　このとき、運転状況解析部２０５は、ハンドルの操作量を取得し、上記の条件に併せてハンドルの操作量に基づき移動状況を判定してもよい。「左折」と「停車企図」とにおける運転操作を比較すると、運転手は「左折」を行う際にはハンドルを大きく左に切り、「停車企図」を行う際にはハンドルを小さく左に切る。従って、上記の例において、運転状況解析部２０５は、ハンドルの操作量が相対的に大きい場合には「左折」を示す移動状況を生成し、ハンドルの操作量が相対的に小さい場合には「停車企図」を示す移動状況を生成してもよい。これにより、より詳細な移動状況の判別を行うことができる。
　さらに他の例では、右車線への車線変更を行う場合、運転手は一般に「右ウインカーを出す」動作を行い、「アクセルペダルを踏む」動作を行うとともに「ハンドルを右に切る」動作を行う。従って、運転状況解析部２０５は、操作情報が「右ウインカーを出す」動作、「アクセルペダルを踏む」動作、「ハンドルを右に切る」動作が連続的または同時に行われていることを示す場合、「車線変更」を示す移動状況を生成する。
　運転状況解析部２０５が操作情報をもとに移動状況を生成する例は上記に限定されない。例えば、上記の「停車企図」は道路の左側の路肩に停車することを想定した例であるが、国によっては右側の路肩に停車する場合も有り得る。その場合は「停車企図」を示す移動状況を生成する根拠として「ハンドルを右に切る」という操作情報を採用してもよい。
　運転状況解析部２０５は、位置情報および撮像画像を解析し、運転状況の一部である環境情報を出力する。環境情報とは、車両が存在する周囲の環境を示す情報であり、例えば、交差点、高速道路の入口、通行止め区域、規制区域、渋滞区域、停留所の周囲などを示す。
　例えば、運転状況解析部２０５は、位置情報を既存の地図情報と照合することで、車両が交差点に位置するのか、高速道路の入口に位置するのか等を示す環境情報を出力する。
　また、既存の地図情報が、道路の位置と関連付けて渋滞区域や通行止めの道路、車線規制の有無等を有する場合、運転状況解析部２０５は、位置情報に基づき、車両が渋滞や通行止め、その他規制の対象区域内に存在することを示す環境情報を生成する。
　また、運転状況解析部２０５は、撮像画像に映る物体を解析し、通行止めや規制を示す標識が映る場合に、車両が規制の対象区域内に存在することを示す環境情報を生成する。
また、運転状況解析部２０５は、撮像画像に信号機が映る場合に、車両が交差点に位置することを示す環境情報を生成する。
　運転状況解析部２０５の処理は上記の例に限定されず、位置情報と撮像画像の両方に基づき環境情報を出力するものであってもよい。例えば、運転状況解析部２０５は、「交差点の無い一本道のある地点」を示す位置情報と、「道路を横断する人物を映す」撮像画像とに基づき、「横断歩道の手前」を示す環境情報を生成してもよい。
　以上のように、運転状況解析部２０５は、操作情報、位置情報、撮像画像を解析することにより、移動状況と環境情報とを含む運転状況を生成する。
　判定部２０７は、運転状況が通知を停止する状況に該当するか否かを識別する識別器を備える。判定部２０７は識別器を用いて、運転状況が通知を停止する状況に該当するか否かを判定する。判定部２０７は、運転状況が更新される度に判定を行う。なお、識別器はルールベースにより構築されたものであってもよいし、機械学習済みのものであってもよい。
　判定部２０７がルールベースにより構築された識別器を用いる場合について説明する。不図示の記憶部は、異常情報と運転状況と通知停止の対象の要否とを関連付けたデータベースを記憶する。より具体的には、データベースは、異常情報と、移動状況および環境情報と、通知停止の対象の要否が関連付いた情報を格納する。判定部２０７の識別器は、データベースを参照し、運転状況が通知停止の対象である所定の状況であるか否かを判定する。通知停止の対象である所定の状況は移動状況と環境情報との組み合わせによって特定される。例えば、運転状況のうち移動状況が「右折」かつ環境情報が「交差点」を示す場合、移動状況が「車線変更」かつ環境情報が「高速道路の入口」を示す場合、もしくは移動状況が「停車企図」かつ環境情報が「停留所付近」を示す場合等である。また、所定の状況とは、環境状況に依らず、運転状況のうち移動状況が「減速」「加速」を示す状況であってもよいし、運転状況に依らず、環境状況が「高速道路の入口」を示す状況であってもよい。通知停止の対象である所定の状況とは上記の例に限定されない。
　次に判定部２０７が機械学習により得られた識別器を用いる場合について説明する。判定部２０７は、機械学習により得られた識別器を用いて、運転状況が通知停止の対象である所定の状況であるか否かを判定する。識別器は、例えば、異常情報と移動状況と環境情報を入力データとし、通知停止の対象の可否を出力データとして教師あり学習を行うことで得られるものである。また、識別器は、異常情報に加え、移動状況または環境情報のうち一方のみを入力データとし、通知停止の対象の可否を出力データとして教師あり学習を行うことで得られるものであってもよい。判定部２０７は、識別器を用いて、異常情報と運転状況を入力として、通知停止の対象の可否を出力する。
　制御部２０８は通知制御部２０８１を備える。通知制御部２０８１は、取得された異常情報に基づき、通知部２０９が通知を出力するように制御する。
　また、通知制御部２０８１は、通知の出力中に運転状況が更新された場合、更新された運転状況に応じて出力中の通知を停止するように制御を行う。
　さらに、通知制御部２０８１は運転状況に代えて、操作情報に基づき出力中の通知を停止させるように制御してもよい。例えば、操作情報のうち、通知の出力中にアクセルペダルの踏み込み量が閾値を超えた場合、運転手は異常に関する通知を無視して、車両の走行を優先させている可能性が高い。従って、更新された操作情報がアクセルペダルの踏み込みを示す場合、制御部１０３は通知の出力を停止するように制御してもよい。出力中の通知を停止させる条件となる操作情報は適宜設定され得る。
　通知部２０９は、通知制御部２０８１の制御を受け、映像や音声等の通知を出力する。通知部２０９は、運転手が確認可能なディスプレイや、スピーカー、タブレット、スマートフォン、ウェアラブルデバイス、これらの複合機器であってもよい。通知部２０９は、ディスプレイ等の表示装置１０４Ｂである場合、検知した異常を示す異常情報を表示する。例えば、車内で検知された異常が「人物の転倒」である場合、通知部２０９は、「人物の転倒」を示す情報、異常が「事故の発生」であることを示す情報、異常が発生した車内の位置及び時刻を表示する。また、車内で検知された異常が「手すりに掴まらずに立つ人物の存在」である場合、通知部２０９は、「手すりに掴まらずに立つ人物の存在」を示す情報、異常が「事故の予兆」であることを示す情報、異常が発生した車内の位置及び時刻を表示する。
　通知部２０９は、通知部２０９が表示する情報の一部または全てを音声出力してもよい。また、通知部２０９は、センサ２０１１が取得した異常検知の根拠となる情報を出力してもよい。異常検知の根拠となる情報とは、センサ２０１１が取得した映像、画像、音声、その他のセンサ情報である。
　次に図４を用いて異常検知システム２の処理の流れを説明する。異常検知部２０１はセンサ２０１１が取得した情報を基に車内で発生する異常を検知する（Ｓ２０１）。異常情報取得部２０２は、異常検知部２０１が異常を検知したことを受け、異常情報を生成する（Ｓ２０２）。制御部２０８は、異常情報に基づき、通知部２０９が通知を出力するように制御する（Ｓ２０３）。
　続いて、運転情報取得部２０４は、各種センサを用いて車両の運転操作を示す操作情報、車両自体の位置情報、及び車両周囲の環境を映した撮像画像を取得する（Ｓ２０４）。運転状況解析部２０５は、運転情報取得部２０４が取得した操作情報、位置情報、撮像画像を解析し、移動状況と環境情報とを含む運転状況を出力する（Ｓ２０５）。
　判定部２０７は識別器を用いて、運転状況が通知を停止する状況に該当するか否かを判定する（Ｓ２０６）。制御部２０８は、判定部２０７の判定結果に基づき、出力された通知を停止するように通知部２０９を制御する（Ｓ２０７）。通知部２０９は、制御部２０８の制御を受け、通知を停止する。
　本実施形態における異常検知システム２によれば、軽微な異常を検知した場合や、誤検知である場合であっても、運転状況を鑑みて通知を柔軟に制御することができる。さらに、異常検知システム２は運転手の運転操作や車両自体の運転状況に応じて出力中の通知を解除するため、通知の解除にあたり運転手に余計な操作を要求することが無く、操縦負荷を軽減することができる。
［第３実施形態］
　次に第３実施形態における異常検知システム２について説明する。本実施形態における異常検知システム２は、制御部２０８が車両制御部２０８２を備え、車両制御部２０８２が異常情報及び判定部２０７の判定結果に基づき運転操作の一部を無効化するように車両の動作を制御する点で、上述した実施形態とは相違する。なお、本実施形態の説明においては上述した実施形態と重複する説明は省略する。
　図５は本実施形態における異常検知システム２が備える制御部２０８の機能ブロック図である。制御部２０８はさらに車両制御部２０８２を備える。車両制御部２０８２は、異常情報に基づき運転操作の一部を無効化するように車両の動作を制御する。運転操作の無効化とは、運転手の運転操作の一部を受け付けないように車両の動作を制御することを指す。
　例えば、生成された異常情報が「人物の転倒」を示す場合、車両制御部２０８２は運転手の運転操作による加速を無効化するように車両の制御を行う。なお、この例では無効化の対象となる運転操作は加速に関わるものに留まり、ブレーキペダルを踏み込むことによる減速等は無効化されないように設定してもよい。
　車両制御部２０８２が制御を行う根拠とする異常情報は上記の例に限られない。また、車両制御部２０８２が無効化する運転操作とは、加速を無効化させる等の軽微な制御に留めることが好ましい。車両制御部２０８２が加速を無効化する場合、無効化の方法としては、単にアクセルペダルによる加速指示を無効化する方法の他、車両のギアをニュートラル状態に変更する、マニュアル車の場合にクラッチを踏んだ状態に変更する等の方法をとってもよい。無効化する運転操作の例はこれに限定されない。
　また、車両制御部２０８２は、判定部２０７の判定結果に基づき、実行中の車両制御を解除する。換言すると、車両制御部２０８２は、異常が発生した場合に運転手の運転操作の一部を無効化させ、運転状況が所定の状況を満たす場合には、運転状況が所定の状況である場合には、運転操作の無効化を解除するように車両の制御を実行する。なお、判定部２０７の判定結果は、他の実施形態と同様に、取得された異常情報に対し運転状況が予め定義された所定の状況を満たすか否かを示すものである。
　一例として、車両制御部２０８２が異常情報に基づき車両を運転操作による加速を無効化させた後の状況を想定する。この状況下で運転手が連続的にアクセルペダルを踏み込んだ場合、運転手は車両制御部２０８２の制御を無視しようとしている可能性が高い。車両制御部２０８２が運転操作による加速を無効化したにも関わらず、運転手が継続的にアクセルペダルを踏み込む等、無効化された運転操作を試みた場合、車両制御部２０８２は運転操作の無効化を解除するように車両を制御する。
　車両制御部２０８２が運転操作の無効化を解除する条件について詳細に説明する。例えば、不図示の記憶部は、車両制御部２０８２が無効化する運転操作の内容と、無効化を解除する条件を示す所定の状況とが関連付けられたデータベースを記憶する。判定部２０７は、データベースを参照することで、運転状況が所定の状況を満たすか否かを判定する。車両制御部２０８２は、判定結果を受け、運転操作の無効化を解除する。換言すると、判定部２０７は、異常情報と運転状況とに基づき運転手の運転操作による車両の制御を無効化するか否かを決定する。なお、上記は説明の便宜上用いた一例であり、運転操作の一部の無効化を解除する条件は上記に限定されない。
　次に図６を用いて本実施形態における異常検知システム２の処理の流れを説明する。ステップＳ２０２に続き、車両制御部２０８２は、異常情報に基づき運転操作の一部を無効化させるように車両の動作を制御する（Ｓ６０１）。
　その後、図４等に示す他の実施形態と同様に、運転情報取得部２０４は、車両の運転情報を示す情報を取得する（Ｓ２０４）。また、運転状況解析部２０５は、運転情報取得部２０４が取得した運転情報を解析し、運転状況を生成する（Ｓ２０５）。判定部２０７は、出力された運転状況が所定の条件を満たすか否かを判定する（Ｓ２０６）。
　ステップＳ２０６に続き、車両制御部２０８２は、判定部２０７の判定結果に基づき、実行された運転操作の無効化を解除する（Ｓ６０３）。
　なお、車両制御部２０８２が運転操作の無効化を解除するとともに、制御部２０８が備える通知制御部２０８１は、出力中の通知を停止するように制御してもよい。
　本実施形態における異常検知システムによれば、異常を検知した場合に、運転操作の一部を無効化させる制御を実行し、加えて、運転状況に応じて運転操作の無効化を解除する。これにより、運転手に通知の状況を確認する余裕を確保させ、異常検知に対する適切な対応を促すことができる。
［第４実施形態］
　次に第４実施形態における異常検知システム２について説明する。本実施形態における異常検知システム２は、判定部２０７が運転状況を判定し、通知制御部２０８１が判定結果及び異常情報に応じて通知を出力するタイミングを決定する点で、上述した実施形態とは相違する。なお、本実施形態の説明においては上述した実施形態と重複する説明は省略する。
　本実施形態における異常検知システム２の機能ブロック図は第２または第３実施形態と同様である。判定部２０７は、先の実施形態と同様に運転状況が所定の状況か否かを判定する。なお、判定部２０７は、一定時間毎に現在の運転状況が所定の状況に該当するか否かを判定することが好ましい。
　通知制御部２０８１は、先の実施形態と同様に異常情報に基づき通知の出力を制御する。ここで、判定部２０７の判定結果が、運転状況が所定の状況であることを示す場合、通知制御部２０８１は、異常情報が事故の発生自体を示すものか、事故の予兆を示すものかに応じて通知を出力するタイミングを決定する。通知制御部２０８１は、決定したタイミングで通知部２０９が通知するように制御する。
　以下で具体例を用いて説明する。例えば、車内で異常が発生した時点で、運転装置が車線変更等の複雑な運転操作を受け付けている場合を想定する。この場合、異常情報取得部２０２は異常情報を取得する。判定部２０７は運転状況が「車線変更」という所定の状況に該当することを判定する。通知制御部２０８１は、判定結果が「車線変更」という所定の状況下であることを受け、異常情報の内容に応じて、通知を優先するか、「車線変更」を優先するかを決定する。例えば、異常情報が「人がうずくまる動作」という事故の発生を示唆する場合、緊急事態が発生している可能性が高い。この場合、通知制御部２０８１は、判定部２０７が「車線変更」という状態が解消したと判定する前から、即時に異常の内容を示す通知を出力するように制御する。一方で、異常情報が「手すりに掴まらずに立つ人物の存在」を示す場合は緊急性が低い。この場合、通知制御部２０８１は、判定部２０７が「車線変更」という状態が解消されたと判定した後に、異常の内容を示す通知を出力するように制御する。
　以上のように、通知制御部２０８１は、運転状況が所定の状況である場合には、異常情報の内容に応じて、所定の状況が解消される前に通知を出力するか、解消された後に出力するか等のタイミングを変える。
　次に図７を用いて本実施形態における異常検知システム２の処理の流れを説明する。異常検知部２０１はセンサ２０１１が取得した情報を基に車内で発生する異常を検知する（Ｓ４０１）。異常情報取得部２０２は、異常検知部２０１が異常を検知したことを受け、異常情報を生成する（Ｓ４０２）。運転情報取得部２０４は、車両の運転情報を示す情報を取得する（Ｓ４０３）。運転状況解析部２０５は、運転情報取得部２０４が取得した運転情報を解析し、運転状況を生成する（Ｓ４０４）。
　ステップＳ４０４に続き、判定部２０７は、運転状況が所定の状況か否かを判定する（Ｓ４０５）。通知制御部２０８１は、判定結果のうち、操作状況または移動状況が所定の状況を満たす場合（Ｓ４０６，ＹＥＳ）、異常情報が事故の発生自体を示すものか、事故の予兆を示すものかに応じて通知を出力するタイミングを決定する（Ｓ４０７）。なお、判定結果が所定の状況を満たさない場合（Ｓ４０６、ＮＯ）、ステップＳ４０８に進む。通知制御部２０８１は、通知部２０９が通知するように制御する（Ｓ４０８）。ここで、通知制御部２０８１はステップＳ４０３において通知を出力するタイミングが決定されている場合には、当該タイミングにおいて通知を出力するように制御する。
　なお、ステップＳ４０８に続いて、ステップＳ２０５～Ｓ２０７（図４）を実行してもよい。
　本実施形態における異常検知システム２によれば、発生した異常の重要度と、車両が置かれている運転状況に応じて、通知を出力するタイミングを柔軟に変えることができる。
［変形例］
　上記の実施形態に適用可能な変形例を説明する。第４実施形態における異常検知システム２は、車両の運転状況に応じて通知を出力するタイミングを変えるが、さらに車両の運転状況に応じて通知する手段を変えてもよい。例えば、通知部２０９がディスプレイとスピーカーである場合、異常が事故の予兆である場合にはスピーカーによる通知は行わず、ディスプレイによる通知のみを行う。また、異常が事故の発生を示す場合は、ディスプレイとスピーカーの両方による通知を行うように設計してもよい。上記のディスプレイとスピーカーは一例に過ぎず、通知する手段を変更する例はこれに限定されない。
　他の変形例を説明する。異常が事故の予兆である場合であっても、予兆の検知が長時間に渡り複数回検知される場合には、さらに通知の出力を変化させてもよい。例えば、上記第４実施形態における具体例では、異常情報が「手すりに掴まらずに立つ人物の存在」を示す場合は、通知制御部２０８１は、判定部２０７が「車線変更」という状態が解消されたと判定した後に、異常の内容を示す通知を出力するように制御する。これに対し、既に「手すりに掴まらずに立つ人物の存在」が長時間に渡り複数回検知されていた場合には、通知制御部２０８１は、判定部２０７が「車線変更」という状態が解消されたと判定する前に、異常の内容を示す通知を出力するように制御する。なお、上記の具体例は一例に過ぎず、通知の対象とする異常情報や、運転状況等は上記に限定されない。
［変形例１］
　次に、上述した実施形態に適用可能な変形例を説明する。本変形例における異常検知システム２について説明する。本変形例における異常検知システム２は、異常情報取得部２０２が異常検知の信頼度を含む異常情報を生成し、制御部２０８が判定部２０７の判定結果及び信頼度に基づき制御を異ならせる点で、上述した実施形態とは相違する。なお、本実施形態の説明においては上述した実施形態と重複する説明は省略する。
　異常情報取得部２０２は、車両内で異常が発生したことの確からしさを示す確度を含む異常情報を生成する。
　制御部２０８は、判定部２０７の判定結果及び信頼度に基づき、運転装置または通知部２０９の制御を異ならせる。例えば、信頼度が第１の閾値未満である場合、制御部２０８は通知部２０９が備えるディスプレイとスピーカーの両方に通知を出力させる制御は行うが、車両の制御は行わない。また、信頼度が第１の閾値より小さい第２の閾値未満である場合、制御部２０８は通知部２０９が備えるディスプレイのみに通知を出力させる制御は行う。
　これにより、異常検知の確からしさに応じた柔軟な報知や車両の制御を行うことができる。
　なお、上記の第１及び第２の閾値は、運転手やシステムの管理者の操作により変更可能である。例えば、ハンドル等の運転座席付近に取り付けられた不図示の入力装置により、第１及び第２の閾値を変更してもよい。この場合、検出対象である異常の内容ごとに第１及び第２の閾値を変更可能であってもよいし、異常を検出するセンサ２０１１ごと第１及び第２の閾値を変更可能にしてもよい。これにより、運転中に異常が過敏に検出される場合であっても適切な検出精度を保つことができる。
［変形例２］
　上述した実施形態に適用可能な他の変形例を説明する。制御部２０８は不図示の入力装置の操作により通知の消去や車内へのアナウンス、緊急通報等を行うための処理を実行してもよい。入力装置とは、例えばハンドル等の運転座席付近に設置されたボタン、タッチパネル、音声センサ等であるが、これに限定されない。
　また、不図示の入力装置は、検出した異常に対する運転手の判断を入力するものであってもよい。例えば入力装置には下記の３項目が設けられる。
（Ａ）異常検出が正常であり対応が完了したことを示す項目
（Ｂ）異常検出が正常であり一定時間後に再確認を行うことを示す項目
（Ｃ）異常検出が誤りであることを示す項目
　運転手は通知部２０９の通知を受け、上記のうち異常検出がどの項目に該当するかを判断し、入力装置の該当項目を選択する。
　項目ＡまたはＣが選択された場合、通知部２０９は速やかに通知を停止する。
　項目Ｂが選択された場合、通知部２０９は一定時間後に再度通知を実行するとともに通知する内容を変える。例えば、通知部２０９は発生した異常の内容と発生時刻を通知するに留まっていたところ、項目Ｂが選択されたことを条件に、車内において異常が発生した位置を追加で通知する。
　なお、上記の入力装置に依らず、異常が継続して検出された場合、または、同様の異常が再度検出された場合にも同様に、通知部２０９は通知する異常情報の内容を変えるように設計してもよい。
　これにより、運転手に対して異常検出に対する柔軟な対応を行う手段を提供することができる。
［ハードウェア構成例］
　次に、上述した各実施形態における、異常検知システム（１、２）を、一つ以上のコンピュータを用いて実現するハードウェア構成の一例について説明する。異常検知システム（１、２）は、コンピュータを搭載し、当該コンピュータにプログラムを実行させることで異常検知システム（１、２）の機能が実現できる。また、異常検知システム（１、２）は、当該プログラムにより異常検知システム（１、２）の異常検知方法を実行する。また、当該プログラムは、コンピュータが読み取り可能なプログラム記憶媒体に記録することができる。異常検知システム（１、２）が備える各機能部は、任意のコンピュータの少なくとも１つのＣＰＵ（Central Processing Unit）、少なくとも１つのメモリ、メモリにロードされるプログラム、そのプログラムを格納する少なくとも１つのハードディスク等の記憶ユニット、ネットワーク接続用インターフェイス等を中心にハードウェアとソフトウエアの任意の組合せによって実現される。この実現方法、装置には種々の変形例があることは、当業者には理解されるところである。なお記憶ユニットは、装置の出荷以前から格納されているプログラムのほか、光ディスク、光磁気ディスク、半導体フラッシュメモリ等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納可能である。
　図８は、異常検知システム（１、２）のハードウェア構成を例示するブロック図である。図８に示すように、異常検知システム（１、２）は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、通信インターフェイス５Ａ、バス６Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。異常検知システム（１、２）は周辺回路４Ａを有さなくてもよい。なお、異常検知システム（１、２）は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記のハードウェア構成を備えることができる。
　バス６Ａは、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、通信インターフェイス５Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）やマイクロプロセッサ等の演算処理装置である。プロセッサ１Ａは、例えば、メモリ２Ａに記憶された各種プログラムに従って処理を実行することが可能である。
　メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリであり、プログラムや各種データを記憶する。
　入出力インターフェイス３Ａは、入力装置、外部装置、外部ストレージ部、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部ストレージ部等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばタッチパネル、キーボード、マウス、マイク、カメラ等である。出力装置は、例えばディスプレイ、スピーカー、プリンタ、ランプ等である。
　プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　通信インターフェイス５Ａは異常検知システム（１、２）が不図示の外部装置と相互に通信することを実現する。なお、異常検知システム（１、２）の一部の機能をコンピュータで構成してもよい。
［付記事項］
　なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。例えば、各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。
［映像解析システム構成例］
　上記の実施形態の構成を含む映像解析システム１Ｂの構成例を説明する。映像解析システム１Ｂは、上述した実施形態の構成を含む異常検知システム１０１Ｂと、解析装置１０２Ｂと、記憶装置１０３Ｂと、表示装置１０４Ｂと、センサ装置１０５Ｂと、を備え得る。これらの各種装置は互いに無線又は有線で接続され、通信可能である。
　まず、映像解析システム１Ｂが備えるカメラ、映像解析システム１Ｂが備える各種装置が備えるカメラ、または、映像解析システム１Ｂが備える各種装置と通信可能なカメラについて説明する。
　カメラはIP(Internet Protocol)カメラであってもよい。IPカメラがサーバの構成または機能のうち少なくとも一部の構成または機能を含んでもよい。例えば、IPカメラは撮像画像から一部データを抽出し、一部データをサーバに送信してもよい。また、IPカメラは、異常が発生した際のみの映像を切り出して保存または送信してもよいし、映像から抽出した人物の特徴量を保存または送信してもよい。
　カメラの種類は、可視光カメラ、赤外線カメラ、奥行きを計測可能なステレオカメラ、デプスカメラ、全方位カメラ、魚眼レンズを有するカメラ等であってもよい。カメラは複数台備えられ、赤外光カメラと可視光カメラの両方を備えてもよい。
　次に、映像解析システム１Ｂが備える各種装置が任意で有する機能を説明する。
　表示装置１０４Ｂは、カメラ等で撮像した映像を表示する。表示装置１０４Ｂは、映像に映る人物画像に代えて人物の存在を示す代替画像を表示してもよい。代替画像の一例には、アイコンの他、骨格情報、マスキング加工された画像、人物の輪郭のみを示す画像等が挙げられる。なお、代替画像を取得するために、赤外線センサやデプスセンサ等の各種センサを用いてもよい。代替画像はカメラに映る人物の移動に応じて映像上を移動してもよい。
　解析装置１０２Ｂは、対象物または対象人物の位置を特定する場合、位置を特定するために、カメラで撮像した画像と併せて、あるいは画像に代えて、カメラとは異なるセンサにより得られた情報を用いてもよい。例えば、異なるセンサとはマイクであり、対象物または対象人物が発する音を取得する。他の例では、異なるセンサとは電波受信機器であり、対象物または対象人物が有するビーコンが発信するセンサを取得する。この場合、電波受信機器は、ビーコンとの相対距離及び空間的な相対位置を取得する。他の例では、異なるセンサとは赤外線センサであり、センサが受信する赤外線の変化量を検出してもよい
　解析装置１０２Ｂは、カメラが撮像した180度のパノラマ画像、全方位カメラにより撮像された360度のパノラマ画像に基づき、当該パノラマ画像に映る人物または物体の位置を取得してもよい。
　解析装置１０２Ｂは、画像または映像に映る人物の次に示す行動を検出してもよい。検出対象である所定の行動とは、例えば、ハイタッチ、肩を組む、タオルを振りまわす、笛を吹く、楽器を鳴らす、大旗を振る、集団での動きを伴う応援等である。
　解析装置１０２Ｂは、カメラにより撮像された画像または映像において、人物の物を置き去る動作、ふらつき動作、ベビーカーや車椅子を押す動作、立ち止まる動作、杖をつく動作、スーツケースを持つ動作を検出してもよい。なお、解析装置１０２Ｂは、人物の骨格情報に基づき動作を検出してもよい。
　解析装置１０２Ｂは、カメラにより撮像された画像または映像において、同時または異なる時刻に映る他の人物とは異なる行動を異常な動作として検知してもよい。
　異常検知システム１０１Ｂは、映像解析システム１Ｂが備える各種装置（解析装置１０２Ｂ、記憶装置１０３Ｂ、表示装置１０４Ｂ、センサ装置１０５Ｂ）が有する機能および構成の一部を備えてもよい。また、異常検知システム１０１Ｂは、映像解析システム１Ｂが備える各種装置と相互連携することにより、各種装置が備える機能を取り込み、本発明を実現させてもよい。本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
１、２、１０１Ｂ　　異常検知システム
１０１、２０２　　異常情報取得部
１０２、２０５　　運転状況解析部
１０３、２０８　　制御部
２０１　　異常検知部
２０１１　センサ
２０４　　運転情報取得部
２０７　　判定部
２０８１　通知制御部
２０８２　車両制御部
２０９　　通知部
１Ａ　　プロセッサ
２Ａ　　メモリ
３Ａ　　入出力インターフェイス
４Ａ　　周辺回路
５Ａ　　通信インターフェイス
６Ａ　　バス
１Ｂ　　映像解析システム
１０２Ｂ　解析装置
１０３Ｂ　記憶装置
１０４Ｂ　表示装置
１０５Ｂ　センサ装置

Claims (9)

  1. 　車両内で発生した異常を示す異常情報を取得する異常情報取得部と、
    　前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する運転状況解析部と、
    　前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する制御部と、
    を備える異常検知システム。
  2. 　前記運転状況解析部は、前記操作情報を解析して得られる移動状況と、前記車両の位置情報と前記車両の外を撮像した撮像画像とを解析して得られる前記車両の周囲の環境を示す環境情報と、を含む前記運転状況を生成する、
    請求項１に記載の異常検知システム。
  3. 　前記制御部は、前記異常情報に基づき通知部に通知を出力させるように制御し、前記操作情報に基づき、前記通知を停止させるように制御する、
    請求項１または２に記載の異常検知システム。
  4. 　前記制御部は、前記異常情報に基づき通知部に前記通知を出力させるように制御し、前記運転状況が所定の状況を満たす場合に、前記通知を停止させるように制御する、
    請求項１から３のいずれか１項に記載の異常検知システム。
  5. 　前記制御部は、前記異常情報と前記運転状況とに基づき、運転手の運転操作を無効化するように前記車両の制御する、
    請求項１から４のいずれか１項に記載の異常検知システム。
  6. 　前記制御部は、前記運転状況が所定の状況を満たす場合に、前記異常情報が事故の予兆を示すものか、事故の発生を示すものかに応じて前記通知を出力するタイミングを変える、
    請求項１から５のいずれか１項に記載の異常検知システム。
  7. 　前記車両内で発生した前記異常を検知する異常検知部、
    をさらに備え、
    　前記異常情報取得部は、前記異常が発生した確度を含む前記異常情報を生成し、
    　前記制御部は、前記確度に基づき前記車両の制御を異ならせる、
    請求項５または６に記載の異常検知システム。
  8. 　車両内で発生した異常を示す異常情報を取得し、
    　前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成し、
    　前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する、
    異常検知方法。
  9. 　コンピュータに、
    　車両内で発生した異常を示す異常情報を取得する処理と、
    　前記車両における運転手の操作を示す操作情報を解析し、解析した結果に基づき運転状況を生成する処理と、
    　前記異常情報と前記運転状況とに基づき、前記異常に関する通知の出力を制御する処理と、
    を実行させるプログラムを記録したプログラム記録媒体。
PCT/JP2021/023439 2021-06-21 2021-06-21 異常検知システム、異常検知方法及びプログラム記録媒体 WO2022269697A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023529224A JPWO2022269697A5 (ja) 2021-06-21 異常検知システム、異常検知方法及びプログラム
PCT/JP2021/023439 WO2022269697A1 (ja) 2021-06-21 2021-06-21 異常検知システム、異常検知方法及びプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/023439 WO2022269697A1 (ja) 2021-06-21 2021-06-21 異常検知システム、異常検知方法及びプログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2022269697A1 true WO2022269697A1 (ja) 2022-12-29

Family

ID=84545271

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023439 WO2022269697A1 (ja) 2021-06-21 2021-06-21 異常検知システム、異常検知方法及びプログラム記録媒体

Country Status (1)

Country Link
WO (1) WO2022269697A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008254506A (ja) * 2007-04-02 2008-10-23 Toyota Motor Corp シートベルト着用システム、シートベルト着用促進方法
JP2017199123A (ja) * 2016-04-26 2017-11-02 パナソニックＩｐマネジメント株式会社 乗客移動検知装置、乗客移動検知システムおよび乗客移動検知方法
JP2021082050A (ja) * 2019-11-20 2021-05-27 株式会社Ｓｕｂａｒｕ 車両制御システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008254506A (ja) * 2007-04-02 2008-10-23 Toyota Motor Corp シートベルト着用システム、シートベルト着用促進方法
JP2017199123A (ja) * 2016-04-26 2017-11-02 パナソニックＩｐマネジメント株式会社 乗客移動検知装置、乗客移動検知システムおよび乗客移動検知方法
JP2021082050A (ja) * 2019-11-20 2021-05-27 株式会社Ｓｕｂａｒｕ 車両制御システム

Also Published As

Publication number Publication date
JPWO2022269697A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
KR102205240B1 (ko) 예상치 못한 임펄스 변화 충돌 검출기
JP6944308B2 (ja) 制御装置、制御システム、および制御方法
CN111361552B (zh) 自动驾驶系统
US20210387640A1 (en) Information processing apparatus, information processing method, and program
CN108615407A (zh) 用于防止行人碰撞事故的设备及方法
US20230109606A1 (en) Vehicle control device, vehicle control method, and vehicle control system
CN113968215A (zh) 用于人行横道风险评估和方向警告的系统和方法
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11590985B2 (en) Information processing device, moving body, information processing method, and program
JP2017204104A (ja) 制御装置、車載装置、映像配信方法、及びプログラム
WO2023179494A1 (zh) 危险预警的方法、装置和车辆
WO2022269697A1 (ja) 異常検知システム、異常検知方法及びプログラム記録媒体
US10795362B2 (en) Detecting and responding to processions for autonomous vehicles
US11403948B2 (en) Warning device of vehicle and warning method thereof
CN111098864B (zh) 提示方法、装置、自动驾驶车辆及存储介质
JP7367014B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
JP2020101986A (ja) 安全運転支援装置、端末装置、安全運転支援システム、安全運転支援方法、処理実行方法、およびコンピュータプログラム
JP7162038B2 (ja) 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
US10384603B1 (en) Vehicle monitor
US20240116439A1 (en) Vehicle Exit Assistance
US20230295963A1 (en) Door control device, storage medium storing computer program for door control, and method for door control
US20210291653A1 (en) Display control apparatus, display control method, and computer-readable storage medium storing program
JP2022170413A (ja) 異常判断装置
KR20220036870A (ko) 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21946987

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529224

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE