WO2024004522A1 - 監視支援装置、監視支援システム、及びプログラム - Google Patents

監視支援装置、監視支援システム、及びプログラム Download PDF

Info

Publication number
WO2024004522A1
WO2024004522A1 PCT/JP2023/020664 JP2023020664W WO2024004522A1 WO 2024004522 A1 WO2024004522 A1 WO 2024004522A1 JP 2023020664 W JP2023020664 W JP 2023020664W WO 2024004522 A1 WO2024004522 A1 WO 2024004522A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
unit
image
monitoring support
support device
Prior art date
Application number
PCT/JP2023/020664
Other languages
English (en)
French (fr)
Inventor
亮介 渡部
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2024004522A1 publication Critical patent/WO2024004522A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions

Definitions

  • the present disclosure relates to a monitoring support device, a monitoring support system, and a program.
  • Patent Document 1 discloses a vehicle remote monitoring support that allows the vehicle to continue driving with remote operation support from an operator stationed at a control center when it becomes difficult to drive the vehicle. We are proposing a system.
  • a monitoring support device includes: an image acquisition unit that acquires an image captured from a moving object; an identification unit that acquires information on an object that causes the moving body to stop; a video generation unit that generates a superimposed video in which an image indicating the position of the object in a predetermined period is displayed on the video acquired by the video acquisition unit; Equipped with.
  • a monitoring support system includes: a communication unit that receives images captured from a moving object; a video acquisition unit that acquires video received by the communication unit; an identification unit that acquires information on an object that causes the moving body to stop; a video generation unit that generates a superimposed video in which an image indicating the position of the object in a predetermined period is displayed on the video acquired by the video acquisition unit; a display unit that displays the video generated by the video generation unit; including.
  • the program according to one embodiment is to the computer, an image acquisition step of acquiring an image captured from a moving object; an identification step of acquiring information on an object that causes the moving body to stop; a video generation step of generating a superimposed video in which an image indicating the position of the object in a predetermined period is displayed on the video acquired in the video acquisition step; Execute.
  • FIG. 1 is a block diagram schematically showing the configuration of a monitoring support system according to an embodiment.
  • FIG. 1 is a block diagram showing a functional configuration of a monitoring support device according to an embodiment.
  • FIG. 1 is a diagram showing how a monitoring support system is used according to an embodiment.
  • FIG. 1 is a diagram showing how a monitoring support system is used according to an embodiment. It is a flow chart explaining operation of a monitoring support device concerning one embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of the operation of a monitoring support device according to an embodiment.
  • An object of the present disclosure is to provide a monitoring support device, a monitoring support system, and a program that can reduce the burden on personnel (monitors) who monitor the traffic conditions of moving bodies. According to one embodiment, it is possible to provide a monitoring support device, a monitoring support system, and a program that can reduce the burden on personnel (monitors) who monitor the traffic conditions of mobile bodies.
  • the "monitoring support device” may be an electronic device that operates using electric power. Further, the “monitoring support system” may include equipment that operates using electric power (for example, a monitoring support device). Further, the "user” may be a person who uses the monitoring support device or the monitoring support system according to one embodiment. A user may be a person who can benefit from using the monitoring support device or the monitoring support system according to an embodiment.
  • a possible scenario in which the monitoring support device or the monitoring support system according to an embodiment is used is, for example, in a traffic monitoring center, where the traffic conditions of moving objects such as cars running on the road are monitored remotely. It may be used as a facility for Such facilities are hereinafter simply referred to as "monitoring facilities.” Furthermore, in a monitoring facility, a person who uses a monitoring support device or a monitoring support system to monitor traffic conditions such as moving objects is simply referred to as a "monitor”. That is, in a monitoring facility, a monitoring person can monitor the traffic situation of a mobile object such as a car by using a monitoring support device or a monitoring support system.
  • a moving object such as a car monitored by a supervisor is transmitting an image captured by an imaging device from the moving object to the monitoring support system.
  • Such video transmission may be performed, for example, all the time.
  • the video transmitted from the mobile object is received by the monitoring support system, and the video is displayed on a display unit such as a display of the monitoring support system.
  • a supervisor can monitor the traffic situation of the mobile object by visually viewing the video displayed on the surveillance support system.
  • a supervisor is expected to use a monitoring support system to confirm the cause of the stop. Thereafter, once the completeness of the surrounding environment of the vehicle is confirmed, the supervisor may remotely control the vehicle, if necessary or possible. Furthermore, if the driver is able to drive the vehicle himself, the supervisor may remotely assist the driver in driving. Further, it is also conceivable that there may be a situation in which, for example, a driver driving a car or a self-driving car makes some sort of response request to the supervisor, such as a request for remote control.
  • the supervisor will check the completeness of the surrounding environment of the vehicle and, if necessary or possible, remotely control the vehicle or remotely support the driver's driving. .
  • Such remote operation or remote support may be performed by the supervisor himself or may be assigned to other personnel (for example, an operator specializing in operations) based on the supervisor's instructions, for example.
  • the monitoring support system may display videos taken from a plurality of vehicles side by side on a display unit such as a display that can be viewed by one supervisor.
  • a supervisor can simultaneously monitor the traffic conditions of a plurality of vehicles and respond sequentially to various requests received from vehicles or drivers.
  • a monitoring support system and a monitoring support device will be described as being used in the manner described above.
  • a mobile object such as a car monitored by a supervisor may be operating automatically (for example, level 3 to 5), partially autonomously (for example, level 2), or it may be operating automatically (for example, level 2), or it may be operated by a driver. It may be driving (eg, level 0 or 1).
  • a moving object such as a car monitored by a supervisor is not limited to a regular car, but may be any car such as a bus, truck, ambulance, fire engine, or police car.
  • the moving object monitored by the observer is not necessarily limited to a car, but may be any other moving object that can participate in road traffic.
  • FIG. 1 is a diagram showing a monitoring support system including a monitoring support device according to an embodiment together with a moving object such as a car.
  • the monitoring support system 1 may include a monitoring support device 10, a communication section 120, and a display section 130. Further, the monitoring support system 1 may support monitoring of a mobile object 200 such as a car.
  • the monitoring support system 1 may be located in a monitoring facility, for example.
  • the mobile body 200 may be driven by a driver, may be driven at least partially automatically, or may be remotely operated by the remote control device 300, for example.
  • the moving body 200 may be on the road, for example.
  • the mobile object 200 may be, for example, a car.
  • the mobile object 200 may be, for example, a normal passenger car.
  • the mobile object 200 is not limited to a normal passenger car, and may be any vehicle such as a bus, a truck, an ambulance, a fire engine, or a police car.
  • the mobile object 200 is not necessarily limited to a car, but may be any other mobile object that can participate in road traffic.
  • the following description will be made assuming that the moving object 200 is a passenger car.
  • the moving body 200 may be equipped with various types of motive power, such as an engine vehicle, an electric vehicle, or a fuel cell vehicle.
  • the mobile object 200 may be capable of automatic operation (for example, levels 3 to 5), may be capable of partial automatic operation (for example, level 2), or can be operated by a driver (for example, level 0 or 1). ) may be possible.
  • the mobile body 200 may include, for example, an imaging section 210 and a communication section 220.
  • the moving body 200 may not include some of the functional units shown in FIG. 1, or may include functional units other than the functional units shown in FIG.
  • the imaging unit 210 can capture images.
  • the imaging unit 210 may include an image sensor that electronically captures images, such as a digital camera.
  • the imaging unit 210 may include an imaging element that performs photoelectric conversion, such as a CCD (Charge Coupled Device Image Sensor) or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the imaging unit 210 is not limited to an imaging device such as a digital camera, but may be any device.
  • the video captured by the imaging unit 210 may be a still image, a series of still images, or a moving image.
  • video what is captured by the imaging unit 210, such as still images, continuous still images, and moving images, will be collectively referred to as "video.”
  • the imaging unit 210 may be installed at any location in the moving body 200.
  • the imaging unit 210 may be fixedly attached to the moving body 200. Further, the imaging unit 210 may be movably attached to the moving body 200 so that the imaging range can be changed.
  • the imaging unit 210 may typically capture an image in front of the moving body 200.
  • the imaging unit 210 may capture an image that can capture the traffic situation (environment) of the moving body 200, centering on the area in front of the moving body 200.
  • Data of the video imaged by the imaging unit 210 may be transmitted to the communication unit 220.
  • the imaging unit 210 may be connected to the communication unit 220 by at least one of a wired connection and a wireless connection.
  • the communication unit 220 of the mobile body 200 may be a functional unit that can communicate with the communication unit 120 of the monitoring support system 1 by being connected by at least one of wired and wireless (typically wireless).
  • the communication unit 220 may be dedicated hardware installed in the mobile object 200, or may be a general-purpose item such as a smartphone or a tablet terminal.
  • the communication unit 220 has an interface function for wired or wireless communication.
  • the communication method performed by the communication unit 220 in one embodiment may be a wireless communication standard.
  • wireless communication standards may include cellular phone communication standards such as 2G, 3G, 4G, and 5G.
  • communication standards for cellular phones include LTE (Long Term Evolution), W-CDMA (Wideband Code Division Multiple Access), CDMA2000, PDC (Personal Digital Cellular), GSM (registered trademark) (Global System for Mobile communications), and PHS. (Personal Handy-phone System), etc.
  • wireless communication standards include WiMAX (Worldwide Interoperability for Microwave Access), IEEE802.11, WiFi, Bluetooth (registered trademark), IrDA (Infrared Data Association), NFC (Near Field Communication), and the like.
  • Communications unit 220 may support one or more of the communications standards described above.
  • the communication unit 220 may include, for example, an antenna for transmitting and receiving radio waves, a suitable RF unit, and the like. Further, the communication unit 220 may be configured as an interface such as a connector for connecting to the outside by wire. Since the communication unit 220 can be configured using a known technique for performing wireless communication, a detailed description of the hardware and the like will be omitted.
  • the mobile body 200 may include various sensors that detect various statuses at various locations on the mobile body 200. These various sensors may be connected to the communication unit 220 by at least one of wired and wireless connections. Further, the mobile body 200 may include a device such as an ECU (engine control unit) that detects various statuses at various locations of the mobile body 200. In this case, the ECU may be connected to the communication unit 220 by at least one of a wired connection and a wireless connection.
  • ECU engine control unit
  • the mobile object 200 may include various functions necessary for at least partially automatic driving. Various technologies related to automatic driving may be adopted, including existing technologies and/or technologies to be developed in the future. Furthermore, the mobile body 200 may include various functions that allow remote control (remote control) by persons other than the passenger of the mobile body 200. Various technologies related to such remote control (remote control) may be employed, including existing technologies and/or technologies to be developed in the future.
  • the remote control device 300 may be a controller that remotely controls (remotely controls) the mobile object 200.
  • the remote control device 300 may include, for example, a joystick, a slider, a touch pad or touch panel, and/or at least one of various switches.
  • an operator stationed at a monitoring facility can remotely control the mobile body 200 using the remote control device 300.
  • the remote control device 300 may be connected to the communication unit 120 of the monitoring support system 1 by at least one of wired and wireless connections.
  • the remote control device 300 is connected to the communication unit 120 and can remotely control the mobile body 200 by communicating with the communication unit 220.
  • FIG. 2 is a block diagram showing the functional configuration of the monitoring support system 1 according to one embodiment.
  • the monitoring support system 1 may include a monitoring support device 10, a communication section 120, and a display section 130.
  • the communication unit 120 has an interface function for wired or wireless communication.
  • the communication unit 120 may have a function of communicating with the communication unit 220 of the mobile object 200 by wire or wirelessly.
  • the communication unit 120 may be a functional unit similar to or based on a similar idea to the communication unit 220.
  • the communication unit 120 may be a functional unit that wirelessly communicates with the communication unit 220, and may be a functional unit based on a concept similar to or similar to a known wireless communication device such as an RF unit.
  • the communication unit 120 may be a functional unit that communicates with the communication unit 220 by wire, and may be a functional unit based on a concept similar to or similar to a device such as a connector, for example. Since the communication unit 120 can be configured using a known technique, a more detailed explanation will be omitted.
  • the display unit 130 may be any display device such as a liquid crystal display (LCD), an organic EL display (organic electro-luminescence panel), or an inorganic EL display (inorganic electro-luminescence panel).
  • the display unit 130 may display various types of information such as characters, figures, or symbols. Further, the display unit 130 may display objects constituting various GUIs, icon images, etc., for example, in order to prompt the user to operate the monitoring support device 10 or the mobile object 200.
  • the display unit 130 may be a functional unit that is similar to or based on a similar idea to the known display device as described above. Since the display unit 130 can be constructed using a known technique, a more detailed explanation will be omitted.
  • the monitoring support device 10 may include a video acquisition section 11, an information acquisition section 12, an identification section 13, a video generation section 14, and a storage section 15.
  • the monitoring support device 10 may not include some of the functional units shown in FIG. 2, or may include functional units other than the functional units shown in FIG.
  • the monitoring support device 10 according to one embodiment may include a video acquisition section 11, an identification section 13, and a video generation section 14.
  • the monitoring support device 10 can be configured as various electronic devices.
  • the monitoring support device 10 may be a specially designed terminal, a general-purpose computer, a notebook computer, a server, or the like.
  • the monitoring support device 10 may be a tablet computer, a smartphone, or the like.
  • the monitoring support device 10 may include at least one processor, such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), to provide control and processing capabilities to perform various functions. .
  • the monitoring support device 10 may be implemented by one processor, several processors, or each processor may be implemented by individual processors.
  • a processor may be implemented as a single integrated circuit (IC).
  • a processor may be implemented as a plurality of communicatively connected integrated and discrete circuits. The processor may be implemented based on various other known technologies.
  • the monitoring support device 10 may be configured as, for example, a CPU and a program executed by the CPU.
  • the programs executed in the monitoring support device 10 and the results of the processes executed in the monitoring support device 10 may be stored in the storage unit 15, for example.
  • the monitoring support device 10 may appropriately include memory necessary for operation.
  • the monitoring support device 10 may be configured as dedicated hardware, may include software at least in part, or may be configured entirely with software.
  • the video acquisition unit 11 acquires the video captured by the imaging unit 210 of the moving body 200. That is, the video acquisition unit 11 acquires a video imaged from the moving body 200.
  • the video acquisition unit 11 may acquire the video captured by the imaging unit 210, for example, via the communication unit 220 of the mobile object 200 and the communication unit 120 of the monitoring support system 1.
  • an image may be captured in which the traffic situation (environment) of the moving body 200 can be grasped mainly in front of the moving body 200.
  • the video acquisition unit 11 may capture a video captured by the imaging unit 210 while the moving body 200 is running or stopped.
  • the image acquisition unit 11 may image a car, a motorbike, a bicycle, a pedestrian, a stroller, a road, a building, and/or a scenery, etc. that are present in front of the moving object 200, for example.
  • the information acquisition unit 12 may acquire various information from each part of the mobile body 200.
  • the information acquisition unit 12 may acquire various types of information via the communication unit 220 of the mobile object 200 and the communication unit 120 of the monitoring support system 1, for example.
  • the information acquisition unit 12 may acquire various information regarding the mobile body 200 from the ECU of the mobile body 200.
  • the information acquisition unit 12 may acquire various types of information regarding the automatic operation of the mobile body 200 from an electronic device such as a computer that controls the automatic operation of the mobile body 200.
  • the information acquisition unit 12 may acquire various types of information regarding remote control of the mobile body 200 from an electronic device such as a computer that controls the remote control of the mobile body 200.
  • the identification unit 13 may acquire information on the object that causes the moving body 200 to stop.
  • the identification unit 13 identifies an object included in the video based on the video acquired by the video acquisition unit 11.
  • the video acquired by the video acquisition unit 11 may be the video captured by the imaging unit 210 of the moving body 200.
  • the identification unit 13 may identify the object that causes the moving body 200 to stop based on the image acquired by the image acquisition unit 11.
  • the identification unit 13 may identify the type of object and/or the moving speed of the object. In this case, the identification unit 13 may identify the object that causes the mobile body 200 to stop based on the information received from the mobile body 200.
  • the identification unit 13 may identify the object that causes the moving body 200 to stop, based on the information regarding the cause of the stopping of the moving body 200, which is received from the moving body 200. Further, the identification unit 13 may identify the object that causes the moving body 200 to stop based on the information acquired by the information acquisition unit 12. The identification unit may specify an object that causes automatic operation of the mobile object 200 to stop, by having the observer designate it on the video displayed on the display unit 130 .
  • the identification unit 13 may identify the object by, for example, image recognition.
  • the identification unit 13 may identify objects using various techniques such as pattern matching, for example.
  • the identification unit 13 may identify objects based on information about various objects associated with images of various objects. Information on various objects associated with images of various objects may be stored in the storage section 15, for example, or may be inquired of, for example, from an external server via the communication section 120.
  • the identification unit 13 may identify objects based on, for example, AI (Artificial Intelligence) technology.
  • the identification unit 13 may discriminate objects based on, for example, machine learning (or even deep learning) technology.
  • the moving object 200 applies the brakes and stops under automatic driving control based on detecting a pedestrian within a predetermined distance.
  • the identification unit 13 may identify the pedestrian who tried to cross in front of the moving object 200 as the object that caused the moving object 200 to stop.
  • a bicycle tries to cross in front of the mobile body 200 while the mobile body 200 is automatically driving.
  • the mobile object 200 applies the brakes and stops under automatic driving control based on detecting a bicycle within a predetermined distance.
  • the identification unit 13 may identify the bicycle that tried to cross in front of the moving object 200 as the object that caused the moving object 200 to stop.
  • the identification unit 13 may provide the monitor with the image captured by the imaging unit 210 of the moving body 200 and have the monitor identify the cause of the stoppage. There may be multiple reasons for the stoppage.
  • the information acquisition unit 12 may acquire information on the object identified by the electronic device of the mobile body 200. Further, when the identification unit 13 identifies an object that causes the moving body 200 to stop, the image acquisition unit 11 acquires an image captured by the imaging unit 210 of the moving body 200, and based on the image, the identification unit 13 may be identified.
  • the video generation unit 14 generates and outputs a predetermined video based on the video acquired by the video acquisition unit 11.
  • the video generation unit 14 may generate a superimposed video.
  • the superimposed video is a video in which an image of an object that causes the moving body 200 to stop, whose appearance changes over time, is superimposed on the video acquired by the video acquisition unit 11 at predetermined time intervals. be.
  • the superimposed video generated by the video generation unit 14 will be described further below.
  • a supervisor at the monitoring facility can monitor the moving body 200 by visually viewing the video acquired by the video acquisition unit 11 and/or the superimposed video generated by the video generation unit 14.
  • the video generated by the video generation section 14 may be output to the display section 130.
  • the display unit 130 can display the video generated by the video generation unit 14 by being supplied with the video from the video generation unit 14 . By visually observing the image displayed on the display unit 130, a supervisor at the monitoring facility can monitor the mobile object 200 and its surroundings.
  • the storage unit 15 may have a function as a memory that stores various information.
  • the storage unit 15 may store, for example, a program executed in the monitoring support device 10, a result of a process executed in at least a part of the monitoring support device 10, and the like.
  • the storage unit 15 may have a function as a database that stores various information.
  • the storage unit 15 may function as a work memory for at least a portion of the monitoring support device 10.
  • the storage unit 15 can be configured by, for example, a semiconductor memory or the like, but is not limited thereto, and can be any storage device.
  • the storage unit 15 may be a storage medium such as a memory card inserted into the monitoring support device 10 according to one embodiment.
  • the storage unit 15 may be an internal memory of a CPU used in at least a portion of the monitoring support device 10, or may be connected to at least a portion of the monitoring support device 10 as a separate unit.
  • the communication unit 120 and the display unit 130 are shown as functional units separate from the monitoring support device 10.
  • the monitoring support device 10 may include at least one of the communication section 120 and the display section 130.
  • 3 and 4 are diagrams illustrating how the monitoring support system 1 according to an embodiment is used. 3 and 4 schematically show how a monitor WA monitors a mobile object 200 using the monitor support system 1 installed in a monitoring facility, for example.
  • the monitor WA using the monitoring support system 1 can monitor the mobile object 200 and the like by visually observing the display unit 130.
  • Monitoring of the moving object 200 and the like may include monitoring not only the moving object itself but also its surroundings.
  • 3 and 4 show how the monitor WA visually observes the display section 130.
  • the display unit 130 can display, for example, images taken from moving objects (videos transmitted from each moving object) and images output from the monitoring support device 10.
  • the video output from the monitoring support device 10 may include, for example, various guide displays.
  • the display unit 130 may have a plurality of display screens, such as a screen 130A, a screen 130B, a screen 130C, and a screen 130D.
  • the screen 130A, the screen 130B, the screen 130C, and the screen 130D may each display images captured from different moving objects.
  • the screen 130A, the screen 130B, the screen 130C, and the screen 130D may each display different images taken from the same moving object.
  • screen 130A may be used to monitor mobile object 200.
  • the screen 130B may be used to monitor other moving objects than the moving object 200.
  • the screen 130C may be used to monitor other moving objects different from the above-mentioned moving objects.
  • the display unit 130 may display any number of screens, one or more. By using such a display unit 130, the supervisor WA can monitor a plurality of moving objects.
  • the screen 130A shown in FIGS. 3 and 4 may be used, for example, to monitor the mobile object 200.
  • the screen 130A shows an image captured by the imaging unit 210 installed in the moving body 200.
  • the screen 130A displays a part (front part) of the moving body 200 as an image of the front of the moving body 200 photographed by the imaging unit 210, and 200 views of the front are displayed.
  • a branch (T-junction) between a straight road and a right-turning road is displayed as the road ahead of the mobile object 200.
  • the notification that the mobile body 200 has come to an emergency stop may be notified from the mobile body 200, or may be notified from the automatic driving system of the mobile body 200, for example.
  • the fact that the mobile body 200 has come to an emergency stop may be alerted to the supervisor WA by, for example, displaying some kind of display on the display unit 130.
  • the screen 130A may be flashed brightly for a moment, the screen 130A may be surrounded by a red mark, or an object may be placed somewhere on the screen 130A to call attention. May be displayed.
  • the supervisor WA When the supervisor WA recognizes that the mobile object 200 has come to an emergency stop, the supervisor WA checks the situation around the mobile object 200 by visually checking the screen 130A. On the display unit 130 shown in FIG. 3, a pedestrian P is displayed in front of the moving body 200 that has made an emergency stop. By checking such a situation, the supervisor WA can understand that the cause of the emergency stop of the mobile object 200 is the pedestrian P. For example, suppose that a pedestrian P is about to cross a road on foot. In this case, the supervisor WA can instruct the mobile object 200 to stop until the pedestrian P finishes crossing the road. For example, the supervisor WA may instruct the automatic operation control unit of the mobile body 200 or may instruct the driver of the mobile body 200. Moreover, the supervisor WA may take over the automatic driving of the mobile body 200 by remote control, and remotely control the mobile body 200 after the pedestrian P has finished crossing the road.
  • the monitor WA can monitor other moving objects than the moving object 200 while waiting for the pedestrian P to finish crossing the road.
  • the supervisor WA can check the status of other moving objects than the moving object 200 by visually observing the screen 130B or the screen 130C. Assume that after the time has elapsed in this way, the supervisor WA returns to checking the situation around the mobile object 200 again. Assume that pedestrian P has finished crossing the road at this time. In this case, when the observer WA looks at the screen 130A, as shown in FIG. 4, the pedestrian P is already not displayed on the screen 130A.
  • the monitoring support device 10 takes support measures to reduce the burden on personnel (monitors) who monitor the traffic conditions of moving bodies. That is, the monitoring support device 10 according to one embodiment allows a supervisor to easily understand the situation that caused the stoppage when the moving body stops. Moreover, the monitoring support device 10 according to one embodiment allows a supervisor to easily grasp the planned course of the moving object before the stop, when the moving object stops.
  • FIG. 5 is a flowchart illustrating the operation of the monitoring support device 10 according to one embodiment.
  • FIG. 5 may typically be an operation of the monitoring support device 10 that is assumed to be executed while the mobile object 200 is traveling on a road.
  • the operation shown in FIG. 5 may be started in a situation where the moving object 200 as shown in FIG. 1 is traveling automatically.
  • the monitoring support device 10 is in a state where it can communicate with (the communication unit 220 of) the mobile object 200 via the communication unit 120.
  • the information acquisition unit 12 may have acquired various types of information on the mobile body 200 at the time when the operation shown in FIG. 5 starts.
  • the monitoring support device 10 determines whether the mobile object 200 has stopped (step S11).
  • the moving body 200 may stop the moving body 200 when an object such as a pedestrian P is detected at a predetermined distance from the front of the moving body 200, as shown in FIG. 6A. .
  • the monitoring support device 10 may determine whether the mobile object 200 has stopped based on the information acquired by the information acquisition unit 12. For example, the monitoring support device 10 may determine whether the mobile body 200 has stopped based on information that the information acquisition unit 12 acquires from the ECU of the mobile body 200 or the like. Further, the monitoring support device 10 may determine whether the mobile body 200 has stopped based on information that the information acquisition unit 12 acquires from various functional units related to automatic driving of the mobile body 200.
  • the identification unit 13 identifies the object that causes the moving body 200 to stop (step S12).
  • the identification unit 13 may identify the object that causes the moving object 200 to stop, based on the video acquired by the video acquisition unit 11. For example, in the situation shown in FIG. 6A, the identification unit 13 may identify the pedestrian P as the object that causes the moving object 200 to stop.
  • the information acquisition unit 12 transmits the identified result from the mobile body 200. You may obtain it.
  • the monitoring support device 10 may store the position of the object in the storage unit 15.
  • the position of the object may be a position where an object that causes the moving body 200 to stop is present in the image acquired by the image acquisition unit 11.
  • the video generation unit 14 generates an image displaying an object indicating the position of the object that causes the moving body 200 to stop (step S13).
  • an object indicating the position of an object that causes the moving body 200 to stop is used to alert the observer WA that the moving body 200 has stopped due to an object existing at the position. It can be any object shown in . That is, by visually observing this object, the supervisor WA can easily understand that the moving body 200 has stopped due to the object present at the position of the object.
  • the identification unit 13 identifies an object that causes the moving object 200 to stop
  • the video generation unit 14 when the identification unit 13 identifies an object that causes the moving object 200 to stop, the video generation unit 14 generates an image in which an object indicating the position of the object is displayed. It's fine.
  • the display unit 130 may display a screen as shown in the screen 130A of FIG. 6B, for example.
  • an object OB1 indicating the position of the object (pedestrian P) that causes the moving body 200 to stop is displayed.
  • This object OB1 may have any shape, any color, and any display mode.
  • the object OB1 may be indicated by, for example, surrounding the pedestrian P with a frame such as a red rectangle in order to alert the observer WA to the cause of the stoppage of the moving body 200.
  • the monitoring support device 10 determines whether there is still an object that causes the moving body 200 to stop in the video acquired by the video acquisition unit 11 (step S14).
  • the identification unit 13 may determine whether the object that causes the moving body 200 to stop has been identified yet in the video acquired by the video acquisition unit 11.
  • the monitoring support device 10 stores the position of the target object in, for example, the storage unit 15 at predetermined time intervals (step S15).
  • the position of the object may be a position where an object that causes the moving body 200 to stop is present in the image acquired by the image acquisition unit 11.
  • the predetermined time may be any time, such as every second.
  • the predetermined time may be set to a length of time that allows the movement (positional movement) of the object that causes the moving body 200 to stop.
  • the predetermined time may be determined to have different values depending on, for example, the type of object and/or the moving speed of the object.
  • the predetermined time when the object moves at high speed, the predetermined time may be set to be shorter than when the object moves at low speed.
  • the predetermined time may be set to be shorter than that for an object that moves at low speed (pedestrian).
  • the monitoring support device 10 may return to step S13 and repeat the operation. If the position of the object that causes the moving object 200 to stop moves when performing the operation of step S13 after passing through step S15, the video generation unit 14 generates a video displaying the object that indicates the latest position at that time. May be generated.
  • the loop from step S13 to step S15 allows the monitoring support device 10 to output images like the screen 130A shown in FIGS. 6B to 6E.
  • the pedestrian P is walking across the road from right to left.
  • the monitoring support device 10 causes the object OB1 to follow the movement of the pedestrian P and displays it on the screen 130A in order to indicate the position of the moving pedestrian P (the object that causes the mobile object 200 to stop). do.
  • the video generation unit 14 may generate a video in which the object OB1 that follows the movement of the position of the object that causes the moving body 200 to stop is displayed.
  • the supervisor WA can easily determine that the object that causes the mobile object 200 to stop still exists. I can understand it.
  • FIG. 6F is a diagram showing the situation at the next point in time after the situations shown in FIGS. 6B to 6E.
  • FIG. 6F shows a state in which the pedestrian P no longer exists in the image acquired by the image acquisition unit 11 because the pedestrian P has moved further after the pedestrian P has moved from FIG. 6B to FIG. 6E. .
  • the monitoring support device 10 when it is determined in step S14 that the target object no longer exists, performs the operation in step S16.
  • the monitoring support device 10 may determine that the target object no longer exists. Further, in step S14, the identification unit 13 may determine that the target object no longer exists if the target object that causes the moving body 200 to stop is no longer identified in the video acquired by the video acquisition unit 11. .
  • the video acquisition unit 11 may generate a video that displays an object that indicates the position of the object that causes the moving body 200 to stop in the current video.
  • the position of the object that causes the moving body 200 to stop may be, for example, the position of the object that is first recognized in step S13. That is, the object indicating the position of the target object in step S16 may be an object indicating the position where the target object that caused the moving body 200 to stop was first identified.
  • the display unit 130 may display the object OB2 shown in the screen 130A of FIG. 7, for example.
  • This object OB2 may have any shape, any color, and any display mode. Furthermore, the object OB2 may have a different display mode from the object OB1 (FIGS. 6B to 6E) mentioned in step S13.
  • the object OB2 may be an object that indicates the original position of the object that caused the moving body 200 to stop, but also indicates that the object no longer exists within the screen.
  • the object OB2 may be indicated by, for example, surrounding the pedestrian P with a frame such as a blue or green rectangle in order to alert the observer WA that the cause of the stoppage of the moving object 200 no longer exists.
  • the video generation unit 14 generates a video in which the object OB2 indicating the position of the object that causes the moving body 200 to stop when the identification unit 13 identifies the object is displayed in the current video. It's okay. Further, the video generation unit 14 performs the above-described operation when the identification unit 13, which had been identifying an object that causes the moving body 200 to stop, no longer identifies the object, based on the video acquired by the video acquisition unit 11. Actions may be performed.
  • step S17 the video generation unit 14 changes the display mode of the object so that a predetermined period of time elapses from the time when the identification unit 13 identifies the object that causes the moving body 200 to stop.
  • An image showing the position of each target object is generated (step S17).
  • the video generation unit 14 generates a video showing the position of the object every predetermined time period from when the identification unit 13 identifies the object that causes the moving body 200 to stop until a predetermined period of time has elapsed. good.
  • the video generation unit 14 generates a video showing the position of the object every predetermined period of time from when the identification unit 13 identifies the object that causes the moving object 200 to stop until it no longer exists on the screen. You may.
  • the image generation unit 14 determines the position of the object every predetermined time period from the time when the object identified by the identification unit 13 as causing the stoppage of the moving object 200 ceases to exist in the screen to the past for a predetermined period of time. It is also possible to generate an image showing the
  • the image generation unit 14 generates an image showing the position of the object at each predetermined time period during which the object identified by the identification unit 13 as causing the moving object 200 to stop exists in the screen. May be generated.
  • the position of the object at each predetermined time may be, for example, the position of the object stored in the storage unit 15 in step S15. That is, in step S17, the video generation unit 14 generates a video showing the position of the object at each predetermined time period, as shown in FIGS. 6B to 6E, for example.
  • the observer WA may wonder if the image of the object actually exists. , it may become difficult to distinguish whether it is virtual or not. Therefore, in step S17, the video generation unit 14 may generate a video showing the position of the object at predetermined time intervals after appropriately performing image processing such as making the object translucent, for example.
  • the image generation unit 14 generates images of the object (pedestrian P) that are different from the images of the object (pedestrian P) shown in FIGS. 6B to 6E at respective positions of the objects shown in FIGS. 6B to 6E. Images in the display mode may be displayed in an overlapping manner.
  • the video generation unit 14 may display the video of the pedestrian P in a semi-transparent manner, such as the video Q of the pedestrian shown in FIG. Further, the video generation unit 14 may display the video of the pedestrian P in a different display mode from the video Q of the pedestrian shown in FIG. You can also
  • the video generation unit 14 generates a superimposed video in which the image obtained by the video acquisition unit 11 is overlaid with an image in which the display mode of the object that causes the moving object 200 to stop is changed at predetermined intervals. It's fine.
  • the video generation unit 14 generates a video that superimposes, for example, a translucent image of the object that causes the moving body 200 to stop, on the current video acquired by the video acquisition unit 11, as the above-mentioned superimposed video. You may.
  • the video generation unit 14 performs the above-mentioned process when the identification unit 13, which had been identifying an object that causes the moving body 200 to stop, no longer identifies the object, based on the video acquired by the video acquisition unit 11.
  • a superimposed video may also be generated.
  • the supervisor WA can easily understand that the object that caused the moving body 200 to stop was originally located at the position of the object OB2. Furthermore, by visually observing the object OB1 as shown in FIGS. 6B to 6E, the supervisor WA can easily understand that the object that caused the mobile object 200 to stop still exists on the screen 130A. be able to. That is, by visually observing the object OB1 as shown in FIGS. 6B to 6E, the supervisor WA can easily understand that it is dangerous to restart driving the mobile object 200 at this point. .
  • the observer WA visually observes the object OB2 shown in FIG. 7 instead of the object OB1 shown in FIGS. 6B to 6E, so that the object that caused the stoppage of the mobile object 200 is no longer visible on the screen 130A. It is easy to know that it does not exist. Furthermore, by visually observing the pedestrian video Q shown in FIG. 7, the observer WA can easily understand how an object that is no longer present on the screen 130A no longer exists on the screen 130A. can be grasped. In this way, the supervisor WA can easily understand that the mobile object 200 is safe even if it resumes operation by visually observing the screen 130A shown in FIG.
  • the video generation unit 14 may further perform the operation of step S18 after the operation of step 17. That is, in step S18, the video generation unit 14 may generate a video in which an object indicating the originally planned course is displayed.
  • the information acquisition unit 12 can obtain information about the route planned in the future before the mobile object 200 stops in step S11. Further, even when the mobile object 200 is traveling according to the car navigation system, the information acquisition unit 12 can obtain information on the planned route in the future before the mobile object 200 stops in step S11. can.
  • the video generation unit 14 may display an object indicating the course that was previously planned from the time when the moving body 200 stopped (step S18). .
  • FIG. 8 is a diagram showing how the screen 130A shown in FIG. 7 further shows an object OB3 indicating the course that was previously planned from the time when the moving body 200 stopped.
  • the object OB3 may be displayed in a manner that makes it easy to understand the road on which the mobile object 200 should travel.
  • the object OB3 may be of any size, any shape, any color, and any display mode as an object indicating the course.
  • the video generation unit 14 may generate a video in which the object OB3 indicating the planned course of the moving object 200 is displayed. Further, the video generation unit 14 performs the above-described operation when the identification unit 13, which had been identifying an object that causes the moving body 200 to stop, no longer identifies the object, based on the video acquired by the video acquisition unit 11. Actions may be performed.
  • the monitoring support device 10 allows a supervisor to easily understand the situation that caused the stoppage when a moving object stops. Moreover, the monitoring support device 10 according to one embodiment allows a supervisor to easily grasp the planned course of the moving object before the stop, when the moving object stops. Therefore, the monitoring support device 10 according to one embodiment can reduce the burden on personnel who monitor the traffic conditions of moving bodies.
  • Embodiments according to the present disclosure can also be realized as a method, a program, or a storage medium on which a program is recorded, which is executed by a processor included in an apparatus. It is to be understood that these are also encompassed within the scope of the present disclosure.
  • the embodiments described above may be implemented as, for example, a method of controlling an electronic device such as the monitoring support device described above.
  • the embodiments described above may be implemented, for example, as a system including the monitoring support device described above.
  • the embodiment described above may be implemented as a monitoring support system including the monitoring support device 10, the communication section 120, and the display section 130.
  • the display unit 130 may display the video generated by the video generation unit 14 of the monitoring support device 10.
  • the monitoring support system may further include an imaging unit 210 that captures a video instead of the communication unit 120 or in addition to the communication unit 120.
  • the above-described embodiments may be implemented as a program executed by the above-described monitoring support device or monitoring support system, for example.
  • the embodiments described above may be implemented, for example, as a recording medium recording a program executed by the aforementioned monitoring support device or monitoring support system, that is, a computer-readable recording medium.
  • the program to the computer, an image acquisition step of acquiring an image captured from a moving object; an identification step of acquiring information on an object that causes the moving body to stop; a video generation step of generating a superimposed video in which an image indicating the position of the object in a predetermined period is displayed on the video acquired in the video acquisition step; It may be possible to execute the following.
  • Monitoring support system 10 Monitoring support device 11
  • Video acquisition unit 12 Information acquisition unit 13
  • Identification unit 14 Video generation unit 15
  • Storage unit 120 Communication unit 130
  • Communication unit 130 Display unit 200
  • Mobile object 210 Imaging unit 220 Communication unit 300

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

監視支援装置は、移動体から撮像される映像を取得する映像取得部と、移動体の停止原因となる対象物の情報を取得する識別部と、映像取得部が取得する映像に、所定の期間における対象物の位置を示す画像を表示させた重畳映像を生成する映像生成部と、を備える。

Description

監視支援装置、監視支援システム、及びプログラム 関連出願の相互参照
　本出願は、２０２２年６月３０日に日本国に特許出願された特願２０２２－１０６７００の優先権を主張するものであり、この先の出願の開示全体を、ここに参照のために取り込む。
　本開示は、監視支援装置、監視支援システム、及びプログラムに関する。
　近年、自動車が少なくとも部分的に自動で（人間が運転操作を行わなくとも）走行可能な自動運転の技術開発が、実用化に向けて進められている。ここで、自動運転とは、例えば、日本国の公益社団法人自動車技術会(Society of Automotive Engineers of Japan, Inc.(ＪＳＡＥ))、又は米国の非営利団体ＳＡＥ(Society of Automotive Engineers)が策定したレベルに基づく自動運転としてよい。一方、自動運転がある程度のレベルで開発又は実用化されたとしても、例えば不測の事態などに対処するために、人間の監視者が例えば遠隔で監視を行う必要性が想定される。このような必要性に対応し得るものとして、例えば特許文献１は、車両の運転が困難になった場合に、管制センターに在籍しているオペレータの遠隔操作支援によって走行を継続できる車両遠隔監視支援システムを提案している。
特開２０２０－４２７６４号公報
　一実施形態に係る監視支援装置は、
　移動体から撮像される映像を取得する映像取得部と、
　前記移動体の停止原因となる対象物の情報を取得する識別部と、
　前記映像取得部が取得する映像に、所定の期間における、前記対象物の位置を示す画像を表示させた、重畳映像を生成する映像生成部と、
　を備える。
　一実施形態に係る監視支援システムは、
　移動体から撮像される映像を受信する通信部と、
　前記通信部が受信する映像を取得する映像取得部と、
　前記移動体の停止原因となる対象物の情報を取得する識別部と、
　前記映像取得部が取得する映像に、所定の期間における、前記対象物の位置を示す画像を表示させた、重畳映像を生成する映像生成部と、
　前記映像生成部が生成する映像を表示する表示部と、
　を含む。
　一実施形態に係るプログラムは、
　コンピュータに、
　移動体から撮像される映像を取得する映像取得ステップと、
　前記移動体の停止原因となる対象物の情報を取得する識別ステップと、
　前記映像取得ステップで取得する映像に、所定の期間における、前記対象物の位置を示す画像を表示させた、重畳映像を生成する映像生成ステップと、
　を実行させる。
一実施形態に係る監視支援システムの構成を概略的に示すブロック図である。 一実施形態に係る監視支援装置の機能的な構成を示すブロック図である。 一実施形態に係る監視支援システムの使用態様を示す図である。 一実施形態に係る監視支援システムの使用態様を示す図である。 一実施形態に係る監視支援装置の動作を説明するフローチャートである。 一実施形態に係る監視支援装置の動作の例を示す図である。 一実施形態に係る監視支援装置の動作の例を示す図である。 一実施形態に係る監視支援装置の動作の例を示す図である。 一実施形態に係る監視支援装置の動作の例を示す図である。 一実施形態に係る監視支援装置の動作の例を示す図である。 一実施形態に係る監視支援装置の動作の例を示す図である。 一実施形態に係る監視支援装置の動作の例を示す図である。 一実施形態に係る監視支援装置の動作の例を示す図である。
　自動車のような移動体の監視システムにおいて、移動体の交通状況を監視する人員（監視者）の負担を軽減できれば望ましい。本開示の目的は、移動体の交通状況を監視する人員（監視者）の負担を軽減し得る監視支援装置、監視支援システム、及びプログラムを提供することにある。一実施形態によれば、移動体の交通状況を監視する人員（監視者）の負担を軽減し得る監視支援装置、監視支援システム、及びプログラムを提供することができる。
　本開示において、「監視支援装置」とは、電力により動作する電子機器としてよい。また、「監視支援システム」とは、電力により動作する機器（例えば監視支援装置）を含むものとしてよい。また、「ユーザ」とは、一実施形態に係る監視支援装置又は監視支援システムを使用する者としてよい。ユーザは、一実施形態に係る監視支援装置又は監視支援システムを用いることによる恩恵を受け得る者としてもよい。
　一実施形態に係る監視支援装置又は監視支援システムが利用される場面として想定されるのは、例えば交通監視センターのように、路上を走行する自動車などの移動体の交通状況を、例えば遠隔で監視する施設などとしてよい。このような施設を、以下、単に「監視施設」と記す。また、監視施設において、監視支援装置又は監視支援システムを使用して移動体などの交通状況の監視を行う人員を、単に「監視者」と記す。すなわち、監視施設において、監視者は、監視支援装置又は監視支援システムを使用することで、自動車などの移動体の交通状況の監視を行うことができる。
　以下説明する実施形態においては、監視者によって監視される自動車などの移動体は、当該移動体から撮像装置によって撮像される映像を、監視支援システムに送信しているものとする。このような映像の送信は、例えば常時行われるものとしてよい。移動体から送信された映像は、監視支援システムによって受信され、当該映像は、監視支援システムのディスプレイなどの表示部に表示される。監視者は、監視支援システムにおいて表示される映像を目視することで、当該移動体の交通状況を監視することができる。
　例えば自動運転中の自動車が、何らかの理由で自動運転を継続することが不可能となり停止した場合、監視者は、その停止の原因を、監視支援システムを利用して確認することが想定される。その後、その自動車の周囲環境の完全が確認されれば、監視者は、必要な場合又は可能な場合には、当該自動車の遠隔操作を行う場面も想定される。また、運転者が自ら自動車を運転することができる場合、監視者は、運転者による運転の支援を遠隔で行うこともあり得る。また、例えば自動車を運転している運転者又は自動運転している自動車が、監視者に対して、例えば遠隔操作の要請のような、何らかの対応要請を行うような場面も想定される。このような場合も、監視者は、自動車の周囲環境の完全が確認し、必要な場合又は可能な場合には、当該自動車の遠隔操作又は運転者による運転の遠隔支援を行う場面が想定される。このような遠隔操作又は遠隔支援は、監視者自らによって行われてもよいし、例えば監視者の指示に基づいて、他の人員（例えば操作専門のオペレータ）に割り振られてもよい。
　上述のような状況において、監視者は、作業効率などの観点から、１人で複数の自動車の監視を同時に行うような場面も想定される。この場合、監視支援システムは、１人の監視者が視認可能なディスプレイなどの表示部に、複数の自動車から撮像された映像を並べて表示してよい。このような監視支援システムを使用して、監視者は、複数の自動車の交通状況を同時に監視しつつ、自動車又は運転者から各種の要請などを受けた場合に、順次対応することができる。以下、一実施形態に係る監視支援システム及び監視支援装置は、上述のような態様で使用されるものとして説明する。
　監視者によって監視される自動車などの移動体は、自動運転（例えばレベル３から５）していてもよいし、部分的な自動運転（例えばレベル２）をしていてもよいし、運転者が運転（例えばレベル０又は１）していてもよい。監視者によって監視される自動車などの移動体は、普通自動車に限定されず、例えば、バス、トラック、救急車、消防車、又はパトカーなど、任意の自動車としてよい。また、監視者によって監視される移動体は、必ずしも自動車に限定されず、路上の交通に参加し得る他の移動体としてもよい。
　以下、一実施形態に係る監視支援装置及び監視支援システムについて、図面を参照して説明する。
　図１は、一実施形態に係る監視支援装置を含む監視支援システムを、自動車のような移動体とともに示す図である。
　図１に示すように、監視支援システム１は、監視支援装置１０と、通信部１２０と、表示部１３０とを含んで構成されてよい。また、監視支援システム１は、例えば自動車などのような移動体２００の監視を支援するものとしてよい。監視支援システム１は、例えば監視施設にあるものとしてよい。移動体２００は、運転者によって運転されてもよいし、少なくとも部分的に自動運転されてもよいし、例えば遠隔制御装置３００によって遠隔操作されるものとしてもよい。移動体２００は、例えば路上にあるものとしてよい。
　移動体２００は、例えば自動車としてよい。移動体２００は、例えば、通常の乗用車としてよい。移動体２００は、通常の乗用車に限定されず、例えば、バス、トラック、救急車、消防車、又はパトカーなど、任意の自動車としてよい。また、移動体２００は、必ずしも自動車に限定されず、路上の交通に参加し得る他の移動体としてもよい。
以下、移動体２００が乗用車であるものとして説明する。移動体２００は、エンジン車、電気自動車、又は燃料電池自動車など、各種の動力を備えるものとしてよい。
　移動体２００は、自動運転（例えばレベル３から５）可能なものとしてもよいし、部分的な自動運転（例えばレベル２）可能なものとしてもよいし、運転者が運転（例えばレベル０又は１）可能なものとしてもよい。図１に示すように、移動体２００は、例えば、撮像部２１０と、通信部２２０と、を備えてよい。移動体２００は、図１に示す機能部の一部を備えなくてもよいし、図１に示す機能部以外の機能部を備えてもよい。
　撮像部２１０は、映像を撮像することができる。撮像部２１０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部２１０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部２１０は、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。撮像部２１０が撮像する映像は、静止画としてもよいし、連続する静止画としてもよいし、動画としてもよい。以下、静止画、連続する静止画、及び動画などのような、撮像部２１０によって撮像されるものを総称して、「映像」と記す。
　撮像部２１０は、移動体２００におけるいずれかの箇所に設置されてよい。撮像部２１０は、移動体２００に固定して取り付けられてよい。また、撮像部２１０は、撮像範囲を変更できるように、移動体２００において可動に取り付けられてもよい。
　一実施形態において、撮像部２１０は、典型的には移動体２００の前方の映像を撮像してよい。特に、撮像部２１０は、移動体２００の前方などを中心として移動体２００の交通状況（環境）を把握可能な映像を撮像してよい。撮像部２１０が撮像した映像のデータは、通信部２２０に送信されてよい。撮像部２１０は、通信部２２０と、有線及び無線の少なくとも一方によって接続されてよい。
　移動体２００の通信部２２０は、監視支援システム１の通信部１２０と、有線及び無線の少なくとも一方（典型的には無線）によって接続されることにより、通信することができる機能部としてよい。通信部２２０は、移動体２００に設置される専用のハードウェアとしてもよいし、例えばスマートフォン又はタブレット端末のような汎用品を利用してもよい。
　通信部２２０は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部２２０によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含んでよい。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部２２０は、上記の通信規格の１つ又は複数をサポートすることができる。通信部２２０は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。また、通信部２２０は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部２２０は、無線通信を行うための既知の技術により構成できるため、より詳細なハードウェアなどの説明は省略する。
　移動体２００は、移動体２００の各所における各種のステータスを検出する各種のセンサなどを備えてよい。このような各種のセンサは、通信部２２０と、有線及び無線の少なくとも一方によって接続されてよい。また、移動体２００は、移動体２００の各所における各種のステータスを検出するＥＣＵ（engine control unit）などのような装置を備えてよい。この場合、ＥＣＵは、通信部２２０と、有線及び無線の少なくとも一方によって接続されてよい。
　移動体２００は、少なくとも部分的な自動運転を行うために必要な各種機能を備えてよい。自動運転に関する技術は、既存のもの及び／又は今後開発されるものを含め、各種のものを採用してよい。また、移動体２００は、移動体２００の搭乗者以外の人員によって遠隔操作（遠隔操縦）を行うことを可能にする各種機能を備えてよい。このような遠隔操作（遠隔操縦）に関する技術は、既存のもの及び／又は今後開発されるものを含め、各種のものを採用してよい。
　遠隔制御装置３００は、移動体２００を遠隔操作（遠隔操縦）するコントローラとしてよい。遠隔制御装置３００は、例えば、ジョイスティック、スライダ、タッチパッド若しくはタッチパネル、及び／又は各種のスイッチの少なくともいずれかを含んでよい。例えば監視施設に駐在するオペレータ（操作人員）は、遠隔制御装置３００を用いて、移動体２００を遠隔操作することができる。
　遠隔制御装置３００は、監視支援システム１の通信部１２０に、有線及び無線の少なくとも一方によって接続されてよい。遠隔制御装置３００は、通信部１２０に接続されて、通信部２２０と通信することにより、移動体２００を遠隔操作することができる。
　図２は、一実施形態に係る監視支援システム１の機能的な構成を示すブロック図である。図２に示すように、監視支援システム１は、監視支援装置１０と、通信部１２０と、表示部１３０とを含んで構成されてよい。
　通信部１２０は、有線又は無線により通信するためのインタフェースの機能を有する。通信部１２０は、移動体２００の通信部２２０と有線又は無線により通信する機能を有してよい。通信部１２０は、通信部２２０と同様又は類似の思想に基づく機能部としてよい。通信部１２０は、通信部２２０と無線により通信する機能部として、例えばＲＦ部のような既知の無線通信デバイスと同様又は類似の思想に基づく機能部としてよい。また、通信部１２０は、通信部２２０と有線により通信する機能部として、例えばコネクタのようなデバイスと同様又は類似の思想に基づく機能部としてよい。通信部１２０は、既知の技術により構成することができるため、より詳細な説明は省略する。
　表示部１３０は、例えば、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、有機ＥＬディスプレイ（Organic Electro-Luminescence panel）、又は無機ＥＬディスプレイ（Inorganic Electro-Luminescence panel）等の任意の表示デバイスとしてよい。表示部１３０は、文字、図形、又は記号等の各種の情報を表示してよい。また、表示部１３０は、例えばユーザに監視支援装置１０又は移動体２００の操作を促すために、種々のＧＵＩを構成するオブジェクト、及びアイコン画像などを表示してもよい。表示部１３０は、上述のような既知の表示デバイスと同様又は類似の思想に基づく機能部としてよい。表示部１３０は、既知の技術により構成することができるため、より詳細な説明は省略する。
　監視支援装置１０は、図２に示すように、映像取得部１１、情報取得部１２、識別部１３、映像生成部１４、及び記憶部１５を備えてよい。監視支援装置１０は、図２に示す機能部の一部を備えなくてもよいし、図２に示す機能部以外の機能部を備えてもよい。例えば、一実施形態に係る監視支援装置１０は、映像取得部１１、識別部１３、及び映像生成部１４を備えてもよい。
　一実施形態に係る監視支援装置１０は、種々の電子機器として構成し得る。例えば、監視支援装置１０は、専用に設計された端末としてもよいし、汎用のコンピュータ、ノートパソコン、又はサーバなどとしてもよい。さらに、監視支援装置１０は、タブレット型コンピュータ又はスマートフォンなどとしてもよい。
　監視支援装置１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ(Digital Signal Processor)のような、少なくとも１つのプロセッサを含んでよい。監視支援装置１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路（Integrated Circuit：ＩＣ）として実現されてよい。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
　一実施形態において、監視支援装置１０は、例えばＣＰＵ及び当該ＣＰＵで実行されるプログラムとして構成されてよい。監視支援装置１０において実行されるプログラム、並びに、監視支援装置１０において実行された処理の結果などは、例えば記憶部１５に記憶されてよい。監視支援装置１０は、動作に必要なメモリを適宜含んでもよい。監視支援装置１０は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。
　映像取得部１１は、移動体２００の撮像部２１０が撮像する映像を取得する。すなわち、映像取得部１１は、移動体２００から撮像される映像を取得する。映像取得部１１は、例えば、移動体２００の通信部２２０及び監視支援システム１の通信部１２０を介して、撮像部２１０が撮像する映像を取得してよい。上述のように、移動体２００の前方などを中心として移動体２００の交通状況（環境）を把握可能な映像を撮像してよい。例えば、映像取得部１１は、撮像部２１０によって撮像される映像であって、移動体２００の走行中又は停車中の映像を撮像してよい。この場合、映像取得部１１は、移動体２００の例えば前方向に存在する自動車、バイク、自転車、歩行者、ベビーカー、道路、建物、及び／又は、風景などを撮像してよい。
　情報取得部１２は、移動体２００における各部から、各種の情報を取得してよい。情報取得部１２は、例えば、移動体２００の通信部２２０及び監視支援システム１の通信部１２０を介して、各種の情報を取得してよい。例えば、情報取得部１２は、移動体２００のＥＣＵから、移動体２００に関する各種の情報を取得してよい。また、情報取得部１２は、移動体２００の自動運転を制御するコンピュータのような電子機器から、移動体２００の自動運転に関する各種の情報を取得してよい。また、情報取得部１２は、移動体２００の遠隔制御を制御するコンピュータのような電子機器から、移動体２００の遠隔制御に関する各種の情報を取得してよい。
　識別部１３は、移動体２００の停止原因となる対象物の情報を取得してよい。識別部１３は、映像取得部１１が取得する映像に基づいて、当該映像に含まれる対象物を識別する。上述のように、映像取得部１１が取得する映像は、移動体２００の撮像部２１０が撮像する映像としてよい。一実施形態において、識別部１３は、自動運転中の移動体２００が停止した場合、映像取得部１１が取得する映像に基づいて、移動体２００の停止原因となる対象物を識別してよい。識別部１３は、対象物の種類、及び／又は、対象物の移動速度を識別しても良い。この場合、識別部１３は、移動体２００から受信する情報に基づいて、移動体２００の停止原因となる対象物を識別してもよい。また、識別部１３は、移動体２００から受信する移動体２００の停止原因に関する情報に基づいて、移動体２００の停止原因となる対象物を識別してもよい。また、識別部１３は、情報取得部１２が取得する情報に基づいて、移動体２００の停止原因となる対象物を識別してもよい。識別部は、監視者が表示部１３０に表示された映像上で指定することによって、移動体２００の自動運転の停止原因となる対象物を特定してもよい。
　識別部１３は、例えば画像認識によって、物体を判別してよい。識別部１３は、例えばパターンマッチングなどの各種技術によって、物体を判別してよい。識別部１３は、各種物体の画像に対応付けられた各種物体の情報に基づいて、物体を判別してよい。各種物体の画像に対応付けられた各種物体の情報は、例えば記憶部１５に記憶されていてもよいし、通信部１２０を介して例えば外部サーバなどに問い合わせてもよい。識別部１３は、例えばＡＩ(Artificial Intelligence)の技術に基づいて、物体を判別してもよい。識別部１３は、例えば機械学習（さらにはディープラーニング）の技術に基づいて、物体を判別してもよい。
　例えば、移動体２００の自動運転中に、移動体２００の前を歩行者が横切ろうとしたとする。この場合、移動体２００は、所定の距離以内に歩行者を検出したことに基づいて、自動運転の制御によってブレーキをかけて停止することが想定される。この場合、識別部１３は、移動体２００の前を横切ろうとした歩行者を、移動体２００が停止した原因となる対象物として識別してよい。また、例えば、移動体２００の自動運転中に、移動体２００の前を自転車が横切ろうとしたとする。この場合、移動体２００は、所定の距離以内に自転車を検出したことに基づいて、自動運転の制御によってブレーキをかけて停止することが想定される。この場合、識別部１３は、移動体２００の前を横切ろうとした自転車を、移動体２００が停止した原因となる対象物として識別してよい。識別部１３が、停止原因となる対象物を特定できない場合、監視者に対して移動体２００の撮像部２１０が撮像した映像を提供し、監視者に停止の原因を特定させてもよい。停止の原因は、複数あってもよい。
　識別部１３が移動体２００の停止原因となる対象物を識別する場合、移動体２００の電子機器が識別した対象物の情報を、情報取得部１２が取得してもよい。また、識別部１３が移動体２００の停止原因となる対象物を識別する場合、移動体２００の撮像部２１０が撮像した映像を映像取得部１１が取得して、当該映像に基づいて識別部１３が識別してもよい。
　映像生成部１４は、映像取得部１１が取得した映像に基づく所定の映像を生成して出力する。一実施形態において、映像生成部１４は、重畳映像を生成してよい。ここで、重畳映像とは、映像取得部１１が取得する映像に、移動体２００の停止原因となる対象物の、時間経過に伴い態様が変化した画像を、所定の時間ごとに重ねた映像である。映像生成部１４が生成する重畳映像については、さらに後述する。映像取得部１１が取得した映像、及び／又は、映像生成部１４が生成する重畳映像を目視することにより、監視施設の監視者は、移動体２００を監視することができる。
　映像生成部１４によって生成される映像は、表示部１３０に出力されてよい。表示部１３０は、映像生成部１４から映像を供給されることにより、映像生成部１４によって生成される映像を表示することができる。表示部１３０に表示される映像を目視することにより、監視施設の監視者は、移動体２００とその周囲を監視することができる。
　記憶部１５は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部１５は、例えば監視支援装置１０において実行されるプログラム、及び、監視支援装置１０の少なくとも一部において実行された処理の結果などを記憶してよい。記憶部１５は、各種の情報を記憶するデータベースとしての機能を有してもよい。また、記憶部１５は、監視支援装置１０の少なくとも一部のワークメモリとして機能してよい。記憶部１５は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部１５は、一実施形態に係る監視支援装置１０に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部１５は、監視支援装置１０の少なくとも一部において用いられるＣＰＵの内部メモリであってもよいし、監視支援装置１０の少なくとも一部に別体として接続されるものとしてもよい。
　図２に示す監視支援システム１において、通信部１２０及び表示部１３０は、監視支援装置１０とは別の機能部として示してある。しかしながら、一実施形態に係る監視支援装置１０は、通信部１２０及び表示部１３０の少なくとも一方を備えてもよい。
　次に、一実施形態に係る監視支援システム１の使用態様について説明する。図３及び図４は、一実施形態に係る監視支援システム１の使用態様を例示する図である。図３及び図４は、例えば監視施設などに設置された監視支援システム１を使用して、監視者ＷＡが移動体２００などの監視を行う様子を概略的に示している。
　図３及び図４に示すように、監視支援システム１を使用する監視者ＷＡは、表示部１３０を目視することにより、移動体２００などの監視を行うことができる。移動体２００などの監視には、移動体そのものだけでなく、その周囲の監視を含んでよい。図３及び図４は、監視者ＷＡが表示部１３０を目視する様子を示してある。表示部１３０は、例えば、移動体から撮影される映像（各移動体から送信される映像）を表示するとともに、監視支援装置１０から出力される映像を表示することができる。監視支援装置１０から出力される映像とは、例えば種々のガイドとなる表示を含んでよい。
　図３及び図４に示すように、表示部１３０は、画面１３０Ａ、画面１３０Ｂ、画面１３０Ｃ、及び画面１３０Ｄなどのように、複数の表示画面を有してよい。例えば、画面１３０Ａ、画面１３０Ｂ、画面１３０Ｃ、及び画面１３０Ｄは、それぞれ別の移動体から撮像される映像を表示してよい。例えば、画面１３０Ａ、画面１３０Ｂ、画面１３０Ｃ、及び画面１３０Ｄは、それぞれ同一の移動体から撮像される、異なる映像を表示してもよい。例えば、画面１３０Ａは、移動体２００を監視するのに用いられてよい。また、画面１３０Ｂは、移動体２００とは異なる他の移動体を監視するのに用いられてよい。画面１３０Ｃは、前述の移動体とは異なるさらに他の移動体を監視するのに用いられてよい。図３及び図４においては、例として、画面１３０Ａ、画面１３０Ｂ、画面１３０Ｃ、及び画面１３０Ｄの４画面を示してある。しかしながら、表示部１３０は、１つ以上の任意の数の画面を表示させてよい。このような表示部１３０を使用することで、監視者ＷＡは、複数の移動体などを監視することができる。
　図３及び図４に示す画面１３０Ａは、例えば移動体２００の監視に用いられるものとしてよい。画面１３０Ａは、移動体２００に設置された撮像部２１０によって撮影された映像を示している。図３及び図４に示すように、画面１３０Ａには、撮像部２１０によって撮影された移動体２００の前方の映像として、移動体２００の一部（前部）が表示されているとともに、移動体２００の前方の風景（景色）が表示されている。また、画面１３０Ａには、移動体２００の前方の道路として、直進する道路と右折する道路との分岐（Ｔ字路）が表示されている。
　例えば、監視支援システム１で複数の移動体を監視している監視者ＷＡのもとに、自動運転していた移動体２００が緊急停止した旨が通知されたとする。このように、移動体２００が緊急停止した旨の通知は、例えば移動体２００から通知されてもよいし、移動体２００の自動運転システムなどから通知されてもよい。また、移動体２００が緊急停止した旨は、例えば表示部１３０上に何らかの表示を行うことにより、監視者ＷＡに注意喚起してもよい。例えば、移動体２００が緊急停止した際、画面１３０Ａが一瞬明るくフラッシュ表示されてもよいし、画面１３０Ａの周囲が赤いワクで囲まれてもよいし、画面１３０Ａのどこかに注意を促すオブジェクトを表示してもよい。
　監視者ＷＡは、移動体２００が緊急停止した旨を認識したら、画面１３０Ａを目視することにより、移動体２００の周囲の状況を確認する。図３に示す表示部１３０上には、緊急停止した移動体２００の前方に歩行者Ｐが表示されている。このような状況を確認することで、監視者ＷＡは、移動体２００が緊急停止した原因は、歩行者Ｐであることを把握することができる。例えば、歩行者Ｐは、道路を歩いて横断しようとしていたとする。この場合、監視者ＷＡは、歩行者Ｐが道路を横断し終わるまで、移動体２００に停止するよう指示することができる。例えば、監視者ＷＡは、移動体２００の自動運転の制御部に指示してもよいし、移動体２００の運転者に指示してもよい。また、監視者ＷＡは、移動体２００の自動運転を遠隔制御により引き継いで、歩行者Ｐが道路を横断し終わった後で、移動体２００を遠隔操縦してもよい。
　監視者ＷＡは、歩行者Ｐが道路を横断し終わるのを待つ間、移動体２００以外の他の移動体の監視を行うことができる。例えば、監視者ＷＡは、画面１３０Ｂ又は画面１３０Ｃなどを目視して、移動体２００以外の他の移動体の状況を確認することができる。このようにして時間が経過した後で、監視者ＷＡは、再び移動体２００の周囲の状況の確認に戻ったとする。この時、歩行者Ｐが道路を横断し終わっていたとする。この場合、監視者ＷＡが画面１３０Ａを目視すると、図４に示すように、既に歩行者Ｐは画面１３０Ａに表示されていない。
　監視者ＷＡは、他の状況に注意を傾けていたため、時間が経過して再び図４に示す画面１３０Ａを目視しても、歩行者Ｐが原因となって移動体２００が緊急停止した旨を、即座に認識できない（思い出せない）ことも想定される。すなわち、図４に示す画面１３０Ａを目視しても、監視者ＷＡは、移動体２００が運転再開してよい安全な状況なのか、一見して把握することができない。
　また、監視者ＷＡは、図４に示す画面１３０Ａを目視しても、移動体２００が緊急停止する前に、移動体２００が直進しようとしていたのか右折しようとしていたのか把握できないことも想定される。すなわち、図４に示す画面１３０Ａを目視しても、監視者ＷＡは、例えば移動体２００の自動運転を遠隔操縦で引き継ぐ場合に、もともと予定されていた進路を一見して把握することができない。
　そこで、一実施形態に係る監視支援装置１０は、以上のような観点において、移動体の交通状況を監視する人員（監視者）の負担を軽減するための支援措置を講ずる。すなわち、一実施形態に係る監視支援装置１０は、移動体が停止した場合に、当該停止の原因になった状況を、監視者に容易に把握させることができる。また、一実施形態に係る監視支援装置１０は、移動体が停止した場合に、当該停止以前に予定されていた移動体の進路を、監視者に容易に把握させることができる。
　以下、一実施形態に係る監視支援装置１０の動作について説明する。図５は、一実施形態に係る監視支援装置１０の動作を説明するフローチャートである。図５は、典型的には、移動体２００が道路を走行している状態において実行されることを想定した、監視支援装置１０の動作としてよい。
　図５に示す動作は、図１に示すような移動体２００が自動運転により走行している場面において開始するものとしてよい。図５に示す動作が開始する時点で、監視支援装置１０は、通信部１２０を介して、移動体２００（の通信部２２０）と通信可能な状態とする。また、図５に示す動作が開始する時点で、移動体２００の撮像部２１０は移動体２００の前方の映像を撮像しており、映像取得部１１は撮像部２１０が撮像する映像を取得しているものとする。また、図５に示す動作が開始する時点で、情報取得部１２は移動体２００における各種の情報を取得しているものとしてもよい。
　図５に示す動作が開始すると、監視支援装置１０は、移動体２００が停止したか否か判定する（ステップＳ１１）。典型的な例として、移動体２００は、図６Ａに示すように、移動体２００の前方から所定の距離に、例えば歩行者Ｐのような物体を検出した場合、移動体２００を停止させてよい。監視支援装置１０は、情報取得部１２が取得する情報に基づいて、移動体２００が停止したか否か判定してよい。例えば、監視支援装置１０は、情報取得部１２が移動体２００のＥＣＵなどから取得する情報に基づいて、移動体２００が停止したか否か判定してよい。また、監視支援装置１０は、情報取得部１２が移動体２００の自動運転に関連する各種機能部などから取得する情報に基づいて、移動体２００が停止したか否か判定してよい。
　ステップＳ１１において移動体２００が停止したと判定すると、識別部１３は、移動体２００の停止原因となる対象物を識別する（ステップＳ１２）。ステップＳ１２において、識別部１３は、映像取得部１１が取得する映像に基づいて、移動体２００の停止原因となる対象物を識別してよい。例えば図６Ａに示す状況において、識別部１３は、歩行者Ｐを、移動体２００の停止原因となる対象物として識別してよい。ステップＳ１２において、移動体２００の自動運転に関連する機能部が移動体２００の停止原因となる対象物を識別した場合、情報取得部１２は、このようにして識別された結果を移動体２００から取得してもよい。また、ステップＳ１２において、移動体２００の停止原因となる対象物が識別されたら、監視支援装置１０は、その対象物の位置を、記憶部１５に記憶してもよい。ここで、対象物の位置とは、映像取得部１１が取得する映像において、移動体２００の停止原因となる対象物が存在する位置としてよい。
　ステップＳ１２において対象物が識別されたら、映像生成部１４は、移動体２００の停止原因となる対象物の位置を示すオブジェクトを表示した映像を生成する（ステップＳ１３）。ステップＳ１３において、移動体２００の停止原因となる対象物の位置を示すオブジェクトとは、当該位置に存在する対象物が原因となって移動体２００が停止したことを監視者ＷＡに注意喚起するために示す、任意のオブジェクトとしてよい。すなわち、監視者ＷＡは、このオブジェクトを目視することにより、当該オブジェクトの位置に存在する対象物が原因で移動体２００が停止した旨を容易に把握することができる。このように、一実施形態において、識別部１３が移動体２００の停止原因となる対象物を識別した時に、映像生成部１４は、その対象物の位置を示すオブジェクトが表示された映像を生成してよい。
　ステップＳ１３において生成されたオブジェクトを表示した画像が監視支援装置１０から出力されると、表示部１３０は、例えば図６Ｂの画面１３０Ａに示すような画面を表示してよい。図６Ｂの画面１３０Ａにおいて、移動体２００の停止原因となる対象物（歩行者Ｐ）の位置を示すオブジェクトＯＢ１が表示されている。このオブジェクトＯＢ１は、任意の形状、任意の色、任意の表示態様のものとしてよい。オブジェクトＯＢ１は、移動体２００の停止原因を監視者ＷＡに注意喚起するために、例えば歩行者Ｐの周囲を赤色の長方形などの枠で囲んで示すものとしてよい。
　ステップＳ１３の次に、監視支援装置１０は、映像取得部１１が取得する映像において、まだ移動体２００の停止原因となる対象物が存在するか否か判定する（ステップＳ１４）。ステップＳ１４において、例えば、識別部１３は、映像取得部１１が取得する映像において、移動体２００の停止原因となる対象物をまだ識別しているか否か判定してもよい。
　ステップＳ１４において対象物がまだ存在する場合、監視支援装置１０は、所定時間ごとに、当該対象物の位置を例えば記憶部１５に記憶する（ステップＳ１５）。ここで、対象物の位置とは、映像取得部１１が取得する映像において、移動体２００の停止原因となる対象物が存在する位置としてよい。ステップＳ１５において、所定時間とは、例えば１秒ごとなど、任意の時間としてよい。例えば、所定時間は、移動体２００の停止原因となる対象物の動き（位置の移動）が把握できる程度の時間としてよい。所定の時間は、例えば、対象物の種類、及び／又は対象物の移動速度に応じて異なる値を決定してよい。例えば、対象物が高速で移動する場合には、低速で移動する対象物の場合より短い時間を所定の時間としてよい。例えば、識別部が識別した対象物が高速で移動する物体（例えば車両、オートバイ等）の場合には、低速で移動する物体（歩行者）の場合より短い時間を所定の時間としてよい。
　ステップＳ１５において対象物の位置が記憶されたら、監視支援装置１０は、ステップＳ１３に戻って動作を繰り返してよい。ステップＳ１５を経てステップＳ１３の動作を行う時点で、移動体２００の停止原因となる対象物の位置が移動した場合、映像生成部１４は、その時点における最新の位置を示すオブジェクトを表示する映像を生成してよい。
　このように、ステップＳ１３からステップＳ１５までのループによって、監視支援装置１０は、図６Ｂから図６Ｅまでにおいて示す画面１３０Ａのような映像を出力することができる。図６Ｂから図６Ｅまでに示すように、画面１３０Ａにおいて、歩行者Ｐは、右から左に向かって道路を歩いて横断している。この時、監視支援装置１０は、移動する歩行者Ｐ（移動体２００の停止原因となる対象物）の位置を示すために、オブジェクトＯＢ１を歩行者Ｐの移動に追従させて、画面１３０Ａに表示する。このように、映像生成部１４は、移動体２００の停止原因となる対象物の位置の移動に追従するオブジェクトＯＢ１が表示された映像を生成してよい。
　図６Ｂから図６Ｅまでに示す画面１３０ＡにおけるオブジェクトＯＢ１（及び歩行者Ｐの映像）を目視することで、監視者ＷＡは、移動体２００の停止原因となる対象物がまだ存在することを容易に把握できる。
　図６Ｆは、図６Ｂから図６Ｅまでに示した状況の次の時点の状況を示す図である。図６Ｆは、図６Ｂから図６Ｅまで歩行者Ｐが移動した後に、さらに歩行者Ｐが移動したため、映像取得部１１が取得する映像において、もはや歩行者Ｐが存在していない様子を示している。
　上述のように、例えば移動体２００とは異なる他の移動体の対応をした後で、移動体２００の監視を再開しようとした監視者ＷＡが、図６Ｆに示す画面１３０Ａを目視しても、移動体２００の停止原因となる対象物を容易に把握することはできない。また、例えば、監視者ＷＡが、移動体２００の開始を開始した時に、最初に図６Ｆに示すような画面１３０Ａを目視しても、移動体２００の現在の状況を容易に把握することはできない。さらに、監視者ＷＡが移動体２００の運転を引き継いて遠隔操縦する場合、図６Ｆに示す画面１３０Ａを目視しても、移動体２００が停止する前に前進する予定であったのか右折する予定であったのか、容易に把握することはできない。
　そこで、一実施形態に係る監視支援装置１０は、ステップＳ１４において対象物がもはや存在しないと判定された場合、ステップＳ１６の動作を行う。ステップＳ１４では、映像取得部１１が取得する映像において移動体２００の停止原因となる対象物が撮像されていない場合、監視支援装置１０は、対象物がもはや存在しないと判定してもよい。また、ステップＳ１４において、識別部１３は、映像取得部１１が取得する映像において、移動体２００の停止原因となる対象物を識別しなくなった場合、対象物がもはや存在しないと判定してもよい。
　ステップＳ１６において、映像取得部１１は、移動体２００が停止した際の停止原因となる対象物の位置を、現在の映像において示すオブジェクトを表示する映像を生成してよい。ここで、移動体２００が停止した際の停止原因となる対象物の位置とは、例えば、ステップＳ１３で最初に認識された対象物の位置としてよい。すなわち、ステップＳ１６における対象物の位置を示すオブジェクトとは、移動体２００の停止原因となった対象物が最初に識別された位置を示すオブジェクトとしてよい。
　ステップＳ１６において生成されたオブジェクトを表示した画像が監視支援装置１０から出力されると、表示部１３０は、例えば図７の画面１３０Ａに示すオブジェクトＯＢ２が表示されるものとしてよい。このオブジェクトＯＢ２は、任意の形状、任意の色、任意の表示態様のものとしてよい。また、オブジェクトＯＢ２は、ステップＳ１３において言及したオブジェクトＯＢ１（図６Ｂ乃至図６Ｅ）とは異なる表示態様のオブジェクトとしてよい。オブジェクトＯＢ２は、移動体２００の停止原因となった対象物がもともと存在した位置を示しつつ、当該対象物はすでに画面内に存在しないことを示すオブジェクトとしてよい。オブジェクトＯＢ２は、移動体２００の停止原因が既に存在しない旨を監視者ＷＡに注意喚起するために、例えば歩行者Ｐの周囲を青色又は緑色の長方形などの枠で囲んで示すものとしてよい。
　このように、映像生成部１４は、識別部１３が移動体２００の停止原因となる対象物を識別した際の当該対象物の位置を示すオブジェクトＯＢ２が現在の映像に表示された映像を生成してもよい。また、映像生成部１４は、映像取得部１１が取得する映像に基づいて、移動体２００の停止原因となる対象物を識別していた識別部１３が当該対象物を識別しなくなる時に、前述の動作を実行してもよい。
　ステップＳ１６においてオブジェクトＯＢ２を表示した映像が生成されたら、映像生成部１４は、ステップＳ１７の動作を行う。ステップＳ１７において、映像生成部１４は、対象物の表示態様を変更して、識別部１３が移動体２００の停止原因となる対象物を識別した時から現在に至るまでの間、所定時間経過するごとの対象物の位置を示す映像を生成する（ステップＳ１７）。映像生成部１４は、識別部１３が移動体２００の停止原因となる対象物を識別した時から所定期間経過するまでの間、所定時間経過するごとの対象物の位置を示す映像を生成してよい。映像生成部１４は、識別部１３が移動体２００の停止原因となる対象物を識別した時から画面内に存在しなくなるまでの間、所定時間経過するごとの対象物の位置を示す映像を生成してもよい。映像生成部１４は、識別部１３が移動体２００の停止原因となると識別した対象物が画面内に存在しなくなる時から所定の期間過去までの間について、所定時間経過するごとの対象物の位置を示す映像を生成してもよい。映像生成部１４は、識別部１３が移動体２００の停止原因となると識別した対象物が画面内に存在している所定の期間の間、所定時間経過するごとの対象物の位置を示す映像を生成してもよい。ここで、所定時間ごとの対象物の位置とは、例えば、ステップＳ１５において記憶部１５に記憶された対象物の位置としてよい。すなわち、ステップＳ１７において、映像生成部１４は、例えば図６Ｂから図６Ｅまでに示したような、所定時間ごとの対象物の位置を示す映像を生成する。ここで、移動体２００の停止原因となる対象物が既に存在していない映像において、当該対象物の映像を重ねて表示すると、監視者ＷＡは、当該対象の映像が現実に存在するものなのか、仮想的なものなのか、区別しにくくなるおそれがある。したがって、ステップＳ１７において、映像生成部１４は、例えば対象物を半透明にするような画像処理を適宜行った後で、所定時間ごとの対象物の位置を示す映像を生成してよい。例えば、映像生成部１４は、図６Ｂから図６Ｅまでに示したような対象物のそれぞれの位置に、図６Ｂから図６Ｅまでに示したような対象物（歩行者Ｐ）の映像とは異なる表示態様の映像を、重ねて表示してよい。
　例えば、映像生成部１４は、図７に示す歩行者の映像Ｑのように、歩行者Ｐの映像を半透明にして示してもよい。また、映像生成部１４は、図７に示す歩行者の映像Ｑとは異なる表示態様で、例えば、歩行者Ｐの映像の外枠のみを示したり、歩行者Ｐの映像をグレイアウトして示したりしてもよい。
　このように、映像生成部１４は、映像取得部１１が取得する映像に、移動体２００の停止原因となる対象物の表示態様を変更した画像を、所定の時間ごとに重ねる重畳映像を生成してよい。また、映像生成部１４は、前述の重畳映像として、映像取得部１１が取得する現在の映像に、移動体２００の停止原因となる対象物の映像を例えば半透明化した画像を重ねる映像を生成してもよい。映像生成部１４は、映像取得部１１が取得する映像に基づいて、移動体２００の停止原因となる対象物を識別していた識別部１３が当該対象物を識別しなくなる時に、前述のような重畳映像を生成してもよい。
　図７に示す画面１３０Ａを目視することで、監視者ＷＡは、移動体２００の停止原因となった対象物がもともとオブジェクトＯＢ２の位置に存在したことを容易に把握することができる。また、監視者ＷＡは、図６Ｂから図６Ｅまでに示したようなオブジェクトＯＢ１を目視することで、移動体２００の停止原因となった対象物がまだ画面１３０Ａに存在することを容易に把握することができる。すなわち、監視者ＷＡは、図６Ｂから図６Ｅまでに示したようなオブジェクトＯＢ１を目視することにより、現時点で移動体２００の運転を再開するのは危険である旨を容易に把握することができる。
　一方、監視者ＷＡは、図６Ｂから図６Ｅまでに示したようなオブジェクトＯＢ１ではなく図７に示すオブジェクトＯＢ２を目視することで、移動体２００の停止原因となった対象物がもはや画面１３０Ａに存在しないことを容易に把握することができる。さらに、監視者ＷＡは、図７に示す歩行者の映像Ｑを目視することで、既に画面１３０Ａに存在しない対象物が、どのような経緯で画面１３０Ａに存在しなくなったのか、その経緯を容易に把握することができる。このように、監視者ＷＡは、図７に示す画面１３０Ａを目視することにより、移動体２００は運転再開しても安全である旨を容易に把握することができる。
　一実施形態において、映像生成部１４は、ステップ１７の動作の後に、さらにステップＳ１８の動作を実行してもよい。すなわち、ステップＳ１８において、映像生成部１４は、もともと予定されていた進路を示すオブジェクトが表示された映像を生成してもよい。
　例えば、移動体２００が自動運転されていた場合、情報取得部１２は、ステップＳ１１において移動体２００が停止する前の段階で、今後予定されている進路の情報を入手することができる。また、移動体２００がカーナビゲーションシステムに従って走行していた場合も、情報取得部１２は、ステップＳ１１において移動体２００が停止する前の段階で、今後予定されている進路の情報を入手することができる。
　したがって、ステップＳ１４において対象物がもはや存在しないと判定された場合、映像生成部１４は、移動体２００が停止した時点から先に予定されていた進路を示すオブジェクトを表示してよい（ステップＳ１８）。
　図８は、図７に示した画面１３０Ａにおいて、移動体２００が停止した時点から先に予定されていた進路を示すオブジェクトＯＢ３をさらに示した様子を示す図である。図８に示すように、オブジェクトＯＢ３は、移動体２００の進むべき道路を把握しやすい態様で表示してよい。オブジェクトＯＢ３は、進路を示すオブジェクトとして、任意の大きさ、任意の形状、任意の色、任意の表示態様のものとしてよい。図７に示す画面１３０ＡのオブジェクトＯＢ３を目視することで、監視者ＷＡは、停止した移動体２００の運転を再開する際の進路を容易に把握することができる。
　このように、映像生成部１４は、移動体２００の予定されていた進路を示すオブジェクトＯＢ３が表示された映像を生成してもよい。また、映像生成部１４は、映像取得部１１が取得する映像に基づいて、移動体２００の停止原因となる対象物を識別していた識別部１３が当該対象物を識別しなくなる時に、前述の動作を実行してもよい。
　以上説明したように、一実施形態に係る監視支援装置１０は、移動体が停止した場合に、当該停止の原因になった状況を、監視者に容易に把握させることができる。また、一実施形態に係る監視支援装置１０は、移動体が停止した場合に、当該停止以前に予定されていた移動体の進路を、監視者に容易に把握させることができる。したがって、一実施形態に係る監視支援装置１０は、移動体の交通状況を監視する人員の負担を軽減することができる。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　また、上述した実施形態は、例えば、上述した監視支援装置のような電子機器の制御方法として実施してもよい。さらに、上述した実施形態は、例えば、上述した監視支援装置を含むシステムとして実施してもよい。例えば、上述した実施形態は、監視支援装置１０、通信部１２０、及び表示部１３０を含む監視支援システムとして実施してもよい。この場合、表示部１３０は、監視支援装置１０の映像生成部１４が生成する映像を表示してよい。また、監視支援システムは、通信部１２０に代えて、又は通信部１２０とともに、映像を撮像する撮像部２１０をさらに含んでもよい。また、上述した実施形態は、例えば、上述した監視支援装置又は監視支援システムによって実行されるプログラムとして実施してもよい。さらに、上述した実施形態は、例えば、上述した監視支援装置又は監視支援システムによって実行されるプログラムを記録した記録媒体、すなわちコンピュータ読み取り可能な記録媒体として実施してもよい。
　上述した実施形態をプログラムとして実施する場合、当該プログラムは、
　コンピュータに、
　移動体から撮像される映像を取得する映像取得ステップと、
　前記移動体の停止原因となる対象物の情報を取得する識別ステップと、
　前記映像取得ステップで取得する映像に、所定の期間における、前記対象物の位置を示す画像を表示させた、重畳映像を生成する映像生成ステップと、
　を実行させるものとしてよい。
１　監視支援システム
１０　監視支援装置
１１　映像取得部
１２　情報取得部
１３　識別部
１４　映像生成部
１５　記憶部
１２０　通信部
１３０　表示部
２００　移動体
２１０　撮像部
２２０　通信部
３００　遠隔制御装置

Claims (11)

  1. 　移動体から撮像される映像を取得する映像取得部と、
    　前記移動体の停止原因となる対象物の情報を取得する識別部と、
    　前記映像取得部が取得する映像に、所定の期間における、前記対象物の位置を示す画像を表示させた、重畳映像を生成する映像生成部と、
    　を備える、監視支援装置。
  2. 　前記重畳画像は、前記映像取得部が取得する映像に、前記識別部が前記移動体の停止原因となる対象物を取得した時から所定期間経過するまでの、前記対象物の位置を示す画像を表示させた画像である、請求項１に記載の監視支援装置。
  3. 　前記重畳画像は、前記映像取得部が取得する映像に、前記識別部が前記映像に含まれなくなるまでの、前記対象物の位置を示す画像を表示させた画像である、請求項１に記載の監視支援装置。
  4. 　前記重畳画像は、前記映像取得部が取得する映像に、所定の時間ごとの前記対象物の位置を示す画像を表示させた画像である、請求項１に記載の監視支援装置。
  5. 　前記所定の時間は、前記対象の種類、又は前記対象の移動速度に応じて決定される、請求項４に記載の監視支援装置。
  6. 　前記識別部は、前記映像取得手段が取得する映像に基づいて、前記対象物に関する情報を取得する、
    請求項１に記載の監視支援装置。
  7. 　前記識別部は、前記映像取得手段が取得する映像上で指定されることで、前記対象物を取得する、請求項１に記載の監視支援装置。
  8. 　前記映像生成部は、前記重畳映像として、前記映像取得部が取得する映像に、前記映像取得部が取得する前記対象物の映像を半透明化した画像を重ねる映像を生成する、請求項１に記載の監視支援装置。
  9. 　前記映像取得部が取得する映像に基づいて、前記対象物を識別していた前記識別部が当該対象物を識別しなくなる時に、
    　前記映像生成部は、前記移動体の予定されていた進路を示すオブジェクトが表示された映像を生成する、請求項１に記載の監視支援装置。
  10. 　移動体から撮像される映像を受信する通信部と、
    　前記通信部が受信する映像を取得する映像取得部と、
    　前記移動体の停止原因となる対象物の情報を取得する識別部と、
    　前記映像取得部が取得する映像に、所定の期間における、前記対象物の位置を示す画像を表示させた、重畳映像を生成する映像生成部と、
    　前記映像生成部が生成する映像を表示する表示部と、
    　を含む、監視支援システム。
  11. 　コンピュータに、
    　移動体から撮像される映像を取得する映像取得ステップと、
    　前記移動体の停止原因となる対象物の情報を取得する識別ステップと、
    　前記映像取得ステップで取得する映像に、所定の期間における、前記対象物の位置を示す画像を表示させた、重畳映像を生成する映像生成ステップと、
    　を実行させる、プログラム。
PCT/JP2023/020664 2022-06-30 2023-06-02 監視支援装置、監視支援システム、及びプログラム WO2024004522A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022106700A JP2024006111A (ja) 2022-06-30 2022-06-30 監視支援装置、監視支援システム、及びプログラム
JP2022-106700 2022-06-30

Publications (1)

Publication Number Publication Date
WO2024004522A1 true WO2024004522A1 (ja) 2024-01-04

Family

ID=89382717

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/020664 WO2024004522A1 (ja) 2022-06-30 2023-06-02 監視支援装置、監視支援システム、及びプログラム

Country Status (2)

Country Link
JP (1) JP2024006111A (ja)
WO (1) WO2024004522A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101709A (ja) * 2017-11-30 2019-06-24 Ｓｂドライブ株式会社 車両制御装置、車両制御方法、及び、車両制御装置の制御プログラム
JP2020021453A (ja) * 2018-07-19 2020-02-06 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置及び情報処理システム
JP2020042764A (ja) * 2018-09-06 2020-03-19 株式会社Ｓｏｋｅｎ 車両遠隔操作支援システム
JP2021037916A (ja) * 2019-09-05 2021-03-11 株式会社デンソー 表示制御装置及び表示制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101709A (ja) * 2017-11-30 2019-06-24 Ｓｂドライブ株式会社 車両制御装置、車両制御方法、及び、車両制御装置の制御プログラム
JP2020021453A (ja) * 2018-07-19 2020-02-06 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置及び情報処理システム
JP2020042764A (ja) * 2018-09-06 2020-03-19 株式会社Ｓｏｋｅｎ 車両遠隔操作支援システム
JP2021037916A (ja) * 2019-09-05 2021-03-11 株式会社デンソー 表示制御装置及び表示制御プログラム

Also Published As

Publication number Publication date
JP2024006111A (ja) 2024-01-17

Similar Documents

Publication Publication Date Title
US11205348B2 (en) Drive assist device
US11250708B2 (en) Moving object control apparatus, moving object control method, and moving object
CN207558203U (zh) 自动停车系统
US11366477B2 (en) Information processing device, information processing method, and computer readable medium
CN110949392B (zh) 一种车辆控制方法及装置
JP5361619B2 (ja) 駐車場管理装置及び駐車場管理方法
US20180286249A1 (en) Method and apparatus for operating a vehicle
JP7065765B2 (ja) 車両制御システム、車両制御方法、及びプログラム
WO2020152798A1 (ja) ドライバ異常対応装置、ドライバ異常対応システムおよびドライバ異常対応方法
WO2019233315A1 (zh) 自动导引运输车的控制方法、装置及存储介质
JP2018142921A (ja) 自動運転制御装置、自動運転制御方法、自動運転制御プログラム、自動運転車両、遠隔制御装置、遠隔制御方法、及び遠隔制御プログラム
CN112977416B (zh) 驻车辅助系统及其控制方法
JP2021502918A (ja) 車両の駐車プロセスを制御するための方法
US20220073057A1 (en) Parking assist apparatus, parking assist method and non-transitory computer-readable medium
US11492004B2 (en) Automated driving system, portable device and travel control device
US20220348221A1 (en) Information processing method and information processing system
CN203713784U (zh) 汽车监控系统
WO2024004522A1 (ja) 監視支援装置、監視支援システム、及びプログラム
CN112977451B (zh) 行驶辅助系统及其控制方法
JP2019166992A (ja) 車両制御装置およびコンピュータプログラム
US20210304606A1 (en) Accommodation area management device
WO2022070428A1 (ja) 遠隔監視システム、遠隔監視装置、及び遠隔監視方法
JP6832550B2 (ja) 自動運転車
CN113177825A (zh) 安全打车方法、设备及计算机可读存储介质
US20210331586A1 (en) Vehicle control device and vehicle control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23830972

Country of ref document: EP

Kind code of ref document: A1