WO2022176402A1 - サーバ装置、画像処理方法およびプログラム - Google Patents

サーバ装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2022176402A1
WO2022176402A1 PCT/JP2021/048532 JP2021048532W WO2022176402A1 WO 2022176402 A1 WO2022176402 A1 WO 2022176402A1 JP 2021048532 W JP2021048532 W JP 2021048532W WO 2022176402 A1 WO2022176402 A1 WO 2022176402A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
platform
display
train
event
Prior art date
Application number
PCT/JP2021/048532
Other languages
English (en)
French (fr)
Inventor
政裕 林
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023500596A priority Critical patent/JPWO2022176402A1/ja
Publication of WO2022176402A1 publication Critical patent/WO2022176402A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61BRAILWAY SYSTEMS; EQUIPMENT THEREFOR NOT OTHERWISE PROVIDED FOR
    • B61B1/00General arrangement of stations, platforms, or sidings; Railway networks; Rail vehicle marshalling systems
    • B61B1/02General arrangement of stations and platforms including protection devices for the passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or trains
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to video surveillance technology on public transportation platforms.
  • Patent Literature 1 discloses a technique that draws a red frame on the video output to the monitor when pinching in the vehicle door is detected based on image difference comparison.
  • Patent Document 2 when a person requiring support is detected from the image of a surveillance camera provided on a platform, the image of the person requiring assistance and the image of another surveillance camera are combined side by side, and the synthesized image is transmitted by millimeter waves.
  • a technique is disclosed for transmitting to a train side display monitor by communication.
  • Patent Document 3 by analyzing image information acquired by a three-dimensional stereo camera, it is determined whether or not a person has entered an area where there is a risk of contact with a vehicle, and if there is such a risk, an alarm is issued. is disclosed.
  • the present invention has been made in view of the above problems.
  • One of the objects of the present invention is to provide a technology that assists an employee of a public transportation system who checks the video on the platform to grasp the situation of the platform accurately and quickly.
  • the server device in the present disclosure is image analysis means for processing an image of an area including at least a portion of a station platform and detecting attentional events in said area; display processing means for executing image processing for adding a display notifying the presence of the caution event to the image when a caution event is detected from the image, and for displaying the image after the image processing on a display; display content setting means for changing the content of the display informing the presence of the caution event by setting; Prepare.
  • the image processing method in the present disclosure is executed by a computer.
  • the image processing method is processing an image of a region including at least a portion of a station platform and detecting attentional events in said region; when an attention event is detected from the image, performing image processing for adding a display to the image indicating the existence of the attention event, and displaying the image after the image processing on a display; making it possible to change the content of the display that informs the existence of the caution event by setting; Including.
  • the program in this disclosure is image analysis means for processing an image of an area including at least part of a station platform and detecting attention events in said area; display processing means for executing image processing for adding a display notifying the presence of the caution event to the image when a caution event is detected from the image, and for displaying the image after the image processing on a display; display content setting means for changing the content of the display informing the existence of the caution event by setting; function as
  • FIG. 1 is a diagram illustrating the configuration of an image processing system according to a first embodiment
  • FIG. It is a figure which illustrates the hardware constitutions of a server apparatus.
  • 4 is a flowchart illustrating the flow of processing executed by the server device of the first embodiment
  • 9 is a flowchart illustrating the flow of processing executed by the server device of the second embodiment
  • FIG. 11 is a diagram illustrating the configuration of an image processing system according to a third embodiment
  • FIG. FIG. 4 is a diagram illustrating an image analysis target region set by the display processing unit 120 when a train is present on the platform;
  • FIG. 4 is a diagram showing an example of an image after image processing, which is displayed on the display device by the display processing unit 120 of the first embodiment;
  • FIG. 4 is a diagram showing an example of an image after image processing, which is displayed on the display device by the display processing unit 120 of the first embodiment;
  • FIG. 4 is a diagram showing an example of an image after image processing, which is displayed on the display device by the display processing unit 120 of the first embodiment;
  • each block diagram does not represent a configuration in units of hardware, but a configuration in units of functions, unless otherwise specified.
  • the directions of the arrows are merely to show the flow of information in an easy-to-understand manner, and the direction of communication (unidirectional/bidirectional) is not limited unless otherwise specified.
  • FIG. 1 is a diagram illustrating the configuration of an image processing system according to the first embodiment.
  • the image processing system 1 illustrated in FIG. 1 includes a server device 10, an imaging device 20, a transmitter 30, a receiver 40, and a crew monitor 50. As shown in FIG.
  • the server device 10 processes an image (video of the platform) acquired from the imaging device 20, and displays a display device for the crew of the train T (crew monitor 50) or a display device for the station staff working in the station ( The processed image is displayed on the station staff monitor 60).
  • the functions of the server device 10 according to this embodiment will be described later.
  • the imaging devices 20 are provided at various locations on the platform of the station, and generate images (video) of an area including at least part of the platform.
  • An image (video) generated by the imaging device 20 is analyzed by the server device 10 .
  • the transmitter 30 transmits the image processed by the server device 10 to the outside using, for example, radio waves (carrier waves) in the millimeter wave frequency band.
  • the receiver 40 is provided for each train T and receives radio waves transmitted from the transmitter 30 .
  • the receiver 40 extracts image data from the received radio waves via an internal electronic circuit (not shown).
  • the extracted image data is transmitted to the crew monitor 50 .
  • the crew monitor 50 may be, for example, a stationary monitor device incorporated in the train T, or a portable monitor device such as a smart phone or a tablet terminal used by the crew.
  • the station staff monitor 60 is installed, for example, in the station staff room in the station premises.
  • the station attendant monitor 60 is communicably connected to the server device 10 via, for example, a network (not shown). Images processed by the server device 10 are transmitted to the station staff monitor 60 via this network. Then, the image processed by the server device 10 is displayed on the station staff monitor 60 .
  • the server device 10 of this embodiment includes an image analysis unit 110, a display processing unit 120, and a display content setting unit .
  • the image analysis unit 110 processes the image of the area including at least part of the station platform and detects attention events in the area.
  • the "caution event” means various events that threaten or may threaten the safety of people present on the platform of the station, in other words, the crew of the train T and the station staff working in the station premises It refers to various events that must take appropriate measures.
  • Examples of "attention events” include a person leaning against a platform door installed on the platform, an object (a person or belongings) being caught in a platform door or train door, and a person entering a train on the platform. are rushing in, the platform is crowded (there are more people than a predetermined threshold), the presence of strollers and wheelchairs on the platform, and the presence of white cane users on the platform. fighting or arguing, people collapsing/falling, and criminal or crime-related behavior (e.g. suspicious person loitering) , and so on.
  • the image analysis unit 110 analyzes the image generated by the imaging device 20 and detects at least one of the examples given here as a "caution event". Note that the image analysis unit 110, for example, uses a machine learning model that has been learned to detect at least one of the above-described "attention events” using a known machine learning algorithm, thereby extracting the attention event from the input image. can be detected.
  • the display processing unit 120 When the image analysis unit 110 detects some cautionary event from the image, the display processing unit 120 performs image processing to add a display (hereinafter also referred to as “cautionary display”) indicating the existence of the cautionary event to the image. .
  • the display processing unit 120 adds at least one of a display emphasizing the outer edge of the image and a display emphasizing a region in the image where the caution event is detected to the image as the caution display described above.
  • the display processing unit 120 causes the display device to display the image after the image processing (the image including the caution display).
  • the display processing unit 120 transmits the image after the image processing to the crew monitor 50 used by the crew of the train T, or to the station staff monitor 60 used by the station staff working in the station premises. Alternatively, it is displayed on the station staff monitor 60 .
  • a crew member or a station employee can easily determine the presence of a caution event (whether or not a caution event has occurred) from the caution display attached to the image.
  • FIG. 13 and 14 are diagrams showing examples of images after image processing, which are displayed on the display device by the display processing unit 120 of the first embodiment.
  • the display processing unit 120 gives the image to be processed a display D1 that emphasizes the outer edge of the image.
  • the display processing unit 120 gives the image to be processed a display D2 (heat map) that emphasizes the area in the image in which the attention event is detected.
  • the display processing unit 120 may be configured to process a plurality of images obtained from a plurality of imaging devices 20 and then combine the images after the image processing to generate one image.
  • the display processing unit 120 adds a caution display to each of the plurality of images generated by the plurality of imaging devices 20 at approximately the same time, based on the detection result of the caution event by the image analysis unit 110. Determines whether or not to perform image processing. Then, the display processing unit 120 can generate one image by arranging the respective images according to a predetermined layout for output. In this case, data defining the layout for output is stored in advance in a storage area such as a memory or a storage device provided in the server apparatus 10, for example.
  • the display content setting unit 130 makes it possible to change the content of the warning display given to the image by the image processing of the display processing unit 120 according to the setting.
  • Information indicating settings for caution display is registered, for example, in a predetermined setting file that the display processing unit 120 refers to during processing.
  • the display content setting unit 130 has a function of newly registering information in the setting file and a function of updating existing information in the setting file based on the input from the user.
  • setting of warning display is registered in a predetermined unit such as a unit of route or a unit of railway company.
  • the display content setting unit 130 can change the registered content of the setting file at any timing, for example, according to input from an employee terminal (not shown) used by the crew or station staff.
  • the display processing unit 120 switches the type of warning display given to the image in the image processing to the type corresponding to the setting after the change.
  • Each functional configuration unit of the server device 10 may be implemented by hardware (eg, hardwired electronic circuit, etc.) that implements each functional configuration unit, or may be implemented by a combination of hardware and software (eg, electronic A combination of a circuit and a program that controls it, etc.).
  • hardware eg, hardwired electronic circuit, etc.
  • software e.g, electronic A combination of a circuit and a program that controls it, etc.
  • a case in which each functional component of the server apparatus 10 is implemented by a combination of hardware and software will be further described below.
  • FIG. 2 is a diagram illustrating the hardware configuration of the server device 10. As shown in FIG. The server apparatus 10 illustrated in FIG. 2 has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input/output interface 1050, and a network interface 1060.
  • a bus 1010 is a data transmission path for transmitting and receiving data between each hardware component.
  • the method of connecting each hardware component of the server device 10 is not limited to bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main memory implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 1040 stores program modules that implement each function of the server apparatus 10 (the image analysis unit 110, the display processing unit 120, the display content setting unit 130, etc.). Each function corresponding to each program module is realized by the processor 1020 reading these program modules into the memory 1030 and executing them.
  • the input/output interface 1050 is an interface for connecting the server device 10 and various input/output devices.
  • input/output devices such as a keyboard, mouse, touch panel, display, and speaker can be connected to the input/output interface 1050 .
  • the network interface 1060 is an interface for connecting the server device 10 to the network.
  • the network interface 1060 connects the server device 10 to the network by wire or wirelessly.
  • This network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the server device 10 can communicate with other devices on the network to send and receive various data via the network interface 1060 .
  • the server device 10 can communicate with the imaging device 20 via the network interface 1060 and acquire a video (image) captured by the imaging device 20 .
  • the server device 10 communicates with the transmitter 30 via the network interface 1060, and can transmit images to be displayed on the crew monitor 50 (including images processed by the display processing unit 120) to the transmitter 30. can.
  • the server device 10 can communicate with the station staff monitor 60 via the network interface 1060 and transmit images (including images processed by the display processing unit 120 ) to the station staff monitor 60 .
  • each function of the server device 10 may be provided in another server device (not shown) communicably connected to the server device 10 .
  • each video (each image) generated by each of the plurality of imaging devices 20 is transmitted to the crew monitor 50 (image ) and other video (images) may be further provided.
  • the server device 10 may have the function of performing such distribution.
  • the server device 10 controls the exchange of information between the transmitter 30 and the receiver 40, but other server devices that control the exchange of information between the transmitter 30 and the receiver 40 can be used. may be connected to the server device 10 via a network. In this case, the server device 10 passes video (image) data to be transmitted from the transmitter 30 to the other server device, and the other server device controls the transmitter 30 to transmit the video (image) to the receiver device. 40.
  • FIG. 3 is a flowchart illustrating the flow of processing executed by the server device 10 of the first embodiment.
  • the image analysis unit 110 analyzes the image generated by the imaging device 20 and detects caution events (S102).
  • the image analysis unit 110 inputs an image acquired from the imaging device 20 to a machine learning model constructed to receive an input image and output a detection result of a cautionary event, for example. Based on the output from the machine learning model, the image analysis unit 110 can determine whether a cautionary event has occurred and, if it has occurred, the type of the cautionary event.
  • the display processing unit 120 When a cautionary event is detected from the image generated by the imaging device 20 (S104: YES), the display processing unit 120 performs image processing to add a cautionary indication to the image.
  • the display processing unit 120 first acquires settings related to warning display (type of warning display to be given to the image) (S106). For example, the display processing unit 120 reads a setting file stored in the storage device 1040 or the like, and identifies the type of warning display to be given to the image based on the information stored in the setting file. Then, the display processing unit 120 executes image processing for adding a warning display to the image according to the settings acquired in the process of S106 (S108). Then, the display processing unit 120 causes the target display to display the image with the warning display (S110).
  • the display processing unit 120 controls the transmitter 30 to transmit from the transmitter 30 radio waves that carry the data of the image to which the warning display is added. Radio waves transmitted from the transmitter 30 are received by the receiver 40 .
  • the crew monitor 50 displays image data extracted from radio waves by the receiver 40 on the display area.
  • the display processing unit 120 transmits the data of the image with the caution display to the station staff monitor 60 connected via the network.
  • the station staff monitor 60 displays an image on the display area based on the image data acquired via the network.
  • the display processing unit 120 does not perform image processing for adding a warning display. In this case, an image without the caution display is displayed on the target display (S110).
  • the display content setting unit 130 monitors whether or not there is a user input for changing the setting of the caution display (S112).
  • the display content setting unit 130 updates the setting of the caution display based on the user input (S114).
  • the display content setting unit 130 updates information in a setting file stored in the storage device 1040 or the like according to user input. After the setting file is updated in this way, the content of the image processing by the display processing unit 120 (type of warning display given to the image) is also changed.
  • the above process is repeatedly executed until the output of the image is completed (S116). For example, when various sensors (not shown) detect that the train T has departed and left the platform, the process of outputting an image to the crew monitor 50 ends. Further, for example, when an input to stop the image output is executed on a terminal (not shown) used by the station staff, the process of outputting the image to the station staff monitor 60 ends.
  • the crew and the station staff can see that the caution event has occurred from the image (image) of the imaging device 20. can be easily recognized.
  • the type of caution display as described in the present embodiment, crew members and station staff can accurately and quickly deal with caution events that occur on the platform.
  • a caution display attached to an image may make it difficult to understand the situation of an occurring event on the image.
  • the crew and station staff can eliminate the elements that make the image difficult to see and understand the situation on the image. can be understood more accurately.
  • the type of warning display that the crew and station staff can change from a type that superimposes a predetermined display element (such as a heat map) on the image area where the warning event occurs, to a type that emphasizes the outside of the screen frame.
  • a predetermined display element such as a heat map
  • the visibility of the image can be improved.
  • the purpose of outputting the caution sign has already been achieved, so the caution sign must be continued to be added to the image after that. good too.
  • the visibility of the image can be further improved by appropriately changing the settings so that the crew member or the station staff does not add the warning display.
  • the image processing system 1 and the server device 10 of this embodiment have the same configuration as that of the first embodiment (eg, FIG. 1) except for the points described below.
  • the display processing unit 120 when the image analysis unit 110 detects a cautionary event, the display processing unit 120 further executes a process of adding character information indicating the location where the cautionary event was detected to the image.
  • the display processing unit 120 adds text information indicating the camera that captured the image in which the attention event was detected to the image.
  • the display processing unit 120 can acquire identification information (such as a serial number) of the camera that shot the image, for example, by referring to the metadata attached to the image. In this case, the display processing unit 120 may add the acquired identification information of the camera to the image as character information.
  • the display processing unit 120 associates camera identification information with acquired camera identification information from the database. It is possible to obtain information on the installation location or shooting location of the camera that is being used. In this case, the display processing unit 120 may add the installation location or shooting location of the camera acquired based on the identification information of the camera to the image as character information. Further, when the information indicating the shooting location of the camera can be acquired, the display processing unit 120 specifies the vehicle number corresponding to the shooting location of the image, and adds character information indicating the vehicle number to the image. may be configured to
  • the display processing unit 120 may be configured to display character information indicating the type of caution event in addition to (or instead of) character information indicating the location where the caution event was detected.
  • the image analysis unit 110 detects from an image a warning event that "a foreign object (a person or belongings) is caught in a platform door or a train door".
  • the display processing unit 120 may add character information indicating the type of the detected attention event (for example, a predetermined message such as "Pinch detected!) to the image.
  • definition information defining a correspondence relationship between information indicating the type of attention event detected by the image analysis unit 110 and character information to be output is stored in a predetermined storage area such as the memory 1030 or the storage device 1040. is pre-stored in
  • the display processing unit 120 can acquire character information to be output from the definition information using information on the type of caution event detected by the image analysis unit 110 .
  • FIG. 4 is a flowchart illustrating the flow of processing executed by the server device 10 of the second embodiment.
  • the flowchart in FIG. 4 is the same as the flowchart in FIG. 3 except that it further includes step S202.
  • step S202 the description of the same processing as in FIG. 3 will be omitted as appropriate.
  • the display processing unit 120 When a warning event is detected as a result of analyzing the image acquired from the imaging device 20 (S104: YES), the display processing unit 120 adds a warning display to the image according to the settings (S106, S108). In this embodiment, the display processing unit 120 further adds character information indicating the place where the caution event has occurred to the image (S202). For example, the display processing unit 120 acquires the identification information of the camera (imaging device 20) that captured the image from the metadata of the image, and adds the identification information of the camera to the image as character information. Further, when the information indicating the installation location and the shooting location of the camera is associated with the identification information of the camera, the display processing unit 120 displays the installation location and the shooting location associated with the acquired identification information of the camera.
  • Information may be obtained and attached to the image.
  • the display processing unit 120 refers to the database to obtain the train information.
  • Character information indicating the vehicle number may be added to the image.
  • the crew and station staff can immediately determine the place where the attention event has occurred (the place where the crew or station staff should head or where the line of sight should be directed). As a result, it is possible for crew members and station staff to take early action against cautionary events, and an effect of enhancing safety on the platform can be expected.
  • FIG. 5 is a diagram illustrating the configuration of an image processing system according to the third embodiment.
  • the image processing system 1 illustrated in FIG. 4 further includes a signal facility 70 in addition to the configuration of the first embodiment.
  • the signaling equipment 70 detects whether a train exists on the platform and provides the result to the server device 10.
  • the signaling facility 70 is configured to detect short circuits caused by the axles of trains arriving at the platform and switch the output signal in response to the detection.
  • signaling equipment 70 provides a signal to server unit 10 indicating that a train is present on the platform while a short circuit is detected.
  • Signaling equipment 70 provides a signal to server unit 10 indicating that there is no train on the platform as long as no short circuit is detected.
  • the signaling equipment 70 may be configured to detect the presence of a train approaching the platform by analyzing an image captured by a camera (not shown) that includes the track near the platform (not shown) in its imaging range. Further, the signaling equipment 70 may be configured to detect the presence of a train approaching the platform based on outputs from sensors installed in front of the platform.
  • the server device 10 of this embodiment has the same configuration as that of the first or second embodiment except for the points described below.
  • the image analysis unit 110 determines whether there is a train on the platform before performing image analysis related to detection of caution events.
  • the image analysis unit 110 can use a signal from an external device that detects the presence of a train (eg, signaling equipment 70) to determine whether a train is present on the platform.
  • the image analysis unit 110 may perform processing for determining whether or not a train exists before performing processing for detecting an attention event on a target image.
  • the image analysis unit 110 can use known object recognition techniques to determine whether a train is present in the image.
  • the image analysis unit 110 does not need to acquire or use the signal of the signal equipment 70 .
  • the image analysis unit 110 changes the analysis target area of the image (image area in which attention event detection processing is performed) according to the determination result of whether or not a train is present on the platform.
  • FIG. 6 is a diagram illustrating an image analysis target region set by the display processing unit 120 when a train is present on the platform.
  • FIG. 7 is a diagram illustrating an image analysis target region set by the display processing unit 120 when no train exists on the platform.
  • the images illustrated in FIGS. 6 and 7 were taken by the same camera at different timings.
  • the area set as the analysis target area of the image is indicated by oblique lines.
  • the analysis target area of the image in FIG. 6 is narrower than the analysis target area of the image in FIG.
  • FIG. 8 is a flowchart illustrating the flow of processing executed by the server device 10 of the third embodiment. The processing shown in the flowchart of FIG. 8 is performed before the processing shown in the flowcharts of FIGS.
  • the image analysis unit 110 determines whether there is a train on the platform (S302). For example, the image analysis unit 110 can determine whether or not there is a train on the platform based on a signal indicating the train on-track status provided by the signal equipment 70. For example, the image analysis unit 110 can , it is possible to determine whether or not there is an area presumed to be a train in the video (image) acquired from the imaging device 20, and to determine whether or not there is a train on the platform based on the determination result. In this case, the image analysis unit 110 can extract the train area from the image using, for example, a known object recognition technique.
  • the image analysis unit 110 selects an image area narrower than when there is no train on the platform as an analysis target area (first analysis target area). area) (S304). On the other hand, when it is determined that a train exists on the platform (S302: YES), the image analysis unit 110 converts an image area wider than the first analysis target area to an analysis target area (second analysis target area ) (S306). Algorithms for determining the first analysis target area and the second analysis target area are stored in the storage device 1040, for example. Based on this algorithm, the image analysis unit 110 can determine an image region (analysis target region) where attention event detection processing is performed.
  • the image analysis target area is narrowed down to an area that is likely to be involved in the departure of the train (for example, the area around the train or the platform door). .
  • the crew is not notified of cautionary events at the central part of the platform that are unlikely to be involved in the departure of the train, and the work efficiency of the crew is maintained while ensuring the safety of the departure of the train. can be done.
  • the image analysis unit 110 is configured to change the type of event detected as a warning event depending on whether a train is present on the platform. good too.
  • the image analysis unit 110 is configured to detect, among various caution events, a caution event that is related to the departure of the train.
  • a caution event that is related to the departure of the train.
  • specific examples of "kind of attention events related to the departure of a train” include a person leaning against a platform door provided on the platform, and a foreign object (a person or belongings) being caught in the platform door. that people are rushing into the train on the platform, that the platform is crowded (the number of people exceeds a predetermined threshold), that there are strollers or wheelchairs on the platform, that the platform is For example, there are white cane users in Japan.
  • the image analysis unit 110 detects other events to be detected in order to ensure safety on the platform, in addition to caution events detected when there is a train on the platform. configured to detect For example, if there is no train on the platform, the image analysis unit 110 detects that a fight or argument has occurred, that a person has fallen over, that a criminal act or crime-related act (e.g., a suspicious person , etc.) is occurring.
  • FIG. 9 is a flowchart illustrating the flow of processing executed by the server device 10 of the first modified example of the third embodiment.
  • the flowchart in FIG. 9 is different from the flowchart in FIG. 8 in that it further includes the processes of S308 and S310.
  • the image analysis unit 110 selects the type of caution event to be detected from the image according to the determination result of whether or not a train exists on the platform (S308, S310). For example, when learning models are prepared for each type of attention event, specify the learning model to be used when a train is present on the platform and the learning model to be used when no train is present on the platform. information is stored in a predetermined storage area (eg, storage device 1040). Based on this information, the image analysis unit 110 can select a learning model to use in each case. Thereby, the image analysis unit 110 can select the type of caution event to be detected in each case.
  • a predetermined storage area eg, storage device 1040
  • the display processing unit 120 may change the transmission destination of the image after image processing based on the determination result of whether or not a train exists on the platform. Specifically, the display processing unit 120 transmits an image after image processing to the crew monitor 50 when a train exists on the platform, and transmits an image after image processing to the crew monitor 50 when a train does not exist on the platform. , the image after the image processing is transmitted to the station staff monitor 60 .
  • FIG. 10 is a flowchart illustrating the flow of processing executed by the server device 10 of the second modified example of the third embodiment.
  • the flowchart of FIG. 10 differs from the flowcharts of FIGS. 8 and 9 in that it further includes processing of S312 and S314.
  • the server device 10 of this modified example may be configured to further execute the processing of the first modified example (the processing of S308 and S310).
  • the display processing unit 120 selects the transmission destination of the image processed by the image analysis unit 110 according to the determination result of whether or not there is a train on the platform (S312, S314). For example, information indicating the image transmission destination (crew monitor 50) when a train exists on the platform, and information indicating the image transmission destination (station staff monitor 60) when no train exists on the platform. is stored in a predetermined storage area (eg, storage device 1040). The display processing unit 120 can specify the destination of the image in each case based on this information. Note that the display processing unit 120 may execute the processes of S312 and S314 at any timing before the process of S110.
  • the image after image processing can be presented to an appropriate person.
  • the server device 10 of the third embodiment changes the analysis target area of the image, the type of gaze event to be detected, or the transmission destination of the processed image depending on whether a train is present on the platform. is configured as In this embodiment, unlike the third embodiment, a case will be described in which the analysis target area of the image and the type of gaze event to be detected are changed according to the transmission destination of the image.
  • the server device 10 of this embodiment has the same configuration as that of the third embodiment (eg, FIG. 5) except for the points described below.
  • the server device 10 of the third embodiment adjusts the analysis target area of the image so as not to detect cautionary events that are unlikely to be involved in train departure (eg, cautionary events that occur near the center of the platform).
  • cautionary events eg, cautionary events that occur near the center of the platform.
  • the server device 10 does not detect a cautionary event that occurs in the central part of the platform, etc., there is a possibility that the handling of the cautionary event will be delayed.
  • the server device 10 of this embodiment is configured as follows, for example.
  • the image analysis unit 110 analyzes an image (crew image) sent to the crew monitor 50 and an image sent to the station staff monitor 60 (station staff image). Gets the settings related to the analysis target area and the types of attention events to detect. Information related to settings of the crew image and the station staff image is stored in advance in the memory 1030 or the storage device 1040, for example. Then, the image analysis unit 110 performs image processing on the image generated by the imaging device 20 based on the settings of the crew image and the station staff image.
  • the display processing unit 120 performs image processing by the image analysis unit 110 based on the setting of the image for the train crew and the image for the crew to which the warning display is added based on the image processing result of the image analysis unit 110 based on the setting of the image for the crew. Based on the result, an image for station staff is generated to which a warning display is added. Then, the display processing unit 120 transmits the crew image from the transmitter 30 . The crew image transmitted from the transmitter 30 is sent to the crew monitor 50 via the receiver 40 and displayed on the crew monitor 50 . In addition, the display processing unit 120 transmits the station staff image to the station staff monitor 60 via the network. The transmitted station staff image is displayed on the station staff monitor 60 .
  • images customized according to the duties of the crew and station staff are displayed on their respective monitors.
  • the crew monitor 50 similar to the configuration of the third embodiment, on the crew monitor 50, only notice events related to departure of the train are notified.
  • a warning event occurring near the center of the platform which is not notified on the crew monitor 50, is detected when the station staff image is generated and displayed on the station staff monitor 60. FIG. By doing so, it is possible to ensure the safety of the platform and maintain business efficiency with higher accuracy.
  • FIG. 11 is a diagram illustrating the configuration of an image processing system according to the fifth embodiment.
  • the server apparatus 10 of this embodiment further includes a platform door control unit 140 in addition to the configuration described in other embodiments. Note that the server apparatus 10 illustrated in FIG. 11 further includes a platform door control unit 140 based on the configuration of the first embodiment.
  • the platform door control unit 140 controls the open/close state of the platform doors (plurality of platform door units 80) provided on the platform.
  • the platform door control unit 140 of the present embodiment operates in a first control mode in which a plurality of platform door units 80 are collectively controlled according to the detection result of the attention event by the image analysis unit 110, and in each of the plurality of platform door units 80. and a second control mode in which the are individually controlled.
  • the platform door control unit 140 controls the plurality of platform door units 80 in the first control mode when the image analysis unit 110 does not detect any caution event.
  • the platform door control section 140 controls the plurality of platform door units 80 in the second control mode.
  • the platform door control unit 140 controls all platform doors in response to reception of a signal (a signal requesting door opening/closing) transmitted to the server device 10 by, for example, the operation of the crew. It operates to open and close the door units 80 collectively.
  • a signal a signal requesting door opening/closing
  • the platform door control unit 140 confirms safety in response to the reception of a signal (a signal requesting opening and closing of the door) transmitted to the server device 10 by the operation of the crew, for example. It operates so as to open and close only the platform door unit 80 that has been installed. For example, the platform door control unit 140 identifies the platform door unit 80 corresponding to the location where the caution event is detected on the platform, and stores the identification information of the platform door unit 80 in a storage area such as the memory 1030 or the storage device 1040. Store temporarily. In this way, the platform door unit 80 specified by the platform door control unit 140 is recognized as the platform door unit 80 not subject to the door opening/closing operation.
  • a signal a signal requesting opening and closing of the door
  • the platform door control section 140 opens/closes all the platform door units 80 except for the platform door units 80 excluded from the door opening/closing operation. It should be noted that when the warning event is canceled at a later point in time, the platform door control unit 140 deletes the information temporarily stored in the storage area. As a result, the platform door control unit 140 can open and close the platform door unit 80, which has been excluded from the door opening/closing operation.
  • each platform door unit 80 is individually controlled when a caution event is detected, and the opening/closing operation is executed from the platform door unit 80 whose safety has been confirmed. As a result, it is possible to improve safety in the vicinity of the platform doors installed on the platform.
  • a platform is usually provided with a plurality of imaging devices (surveillance cameras). It is difficult for crew members and station staff to check all of the videos (images) captured by these multiple imaging devices at once on the display device. Also, when the transmitter 30 and the receiver 40 use radio waves in the millimeter wave frequency band, the number of image data that can be transmitted and received at one time may be limited.
  • the server device 10 of this embodiment differs from other embodiments in that it has additional functions to address the above problem.
  • the server apparatus 10 of this embodiment basically has the same configuration as any of the above-described other embodiments (eg, FIGS. 1, 5, and 11) except for the points described below.
  • the image analysis unit 110 is configured to determine the priority of each of a plurality of images acquired from a plurality of imaging devices provided on the platform. As an example, the image analysis unit 110 calculates the number of persons appearing in each of a plurality of images acquired from a plurality of imaging devices 20 provided on the platform. For example, the image analysis unit 110 can detect areas of individual persons in the image using a known object recognition technique, and calculate the number of detected areas as the number of persons. The image analysis unit 110 then determines the priority of each of the plurality of images based on the number of persons calculated for each of the plurality of images. For example, the image analysis unit 110 can set the priority of an image to be higher as the number of persons appearing in the image increases.
  • the display processing unit 120 is configured to select an image to be displayed on the display device from among a plurality of images based on the priority determined by the image analysis unit 110 . For example, the display processing unit 120 selects a predetermined number of images in descending order of priority. If there is an upper limit to the number of images that can be transmitted at one time, the display processing unit 120 selects images in descending order of priority until the upper limit is reached. Then, the display processing unit 120 causes the selected image to be displayed on the target display device (eg, FIG. 12).
  • the target display device eg, FIG. 12
  • FIG. 12 is a diagram showing an example of an image output to the display device by the display processing unit 120 of the sixth embodiment.
  • the display area is divided into four sub-areas.
  • the four images selected by the display processing unit 120 are assigned to corresponding sub-regions, respectively, and output to the display device as one composite image.
  • an attention event is detected in the image of the lower left sub-region and the image of the upper right sub-region.
  • the display processing unit 120 performs a process of adding a display that emphasizes the outer frame portion of the image to the image of the lower left sub-region.
  • the display processing unit 120 performs a process of adding a display (heat map) that emphasizes the image area where the attention event is detected to the image of the upper right sub-area.
  • the display processing unit 120 may further add character information indicating the location where the caution event was detected, as described in the second embodiment.
  • the display processing unit 120 selects a predetermined specific imaging device 20 (hereinafter also referred to as a "specific imaging device") from among the plurality of imaging devices 20. (notation) is selected as an image to be displayed on the display device.
  • a predetermined specific imaging device 20 hereinafter also referred to as a "specific imaging device”
  • an imaging device 20 whose imaging range includes a place where people tend to gather, a place presumed to have a high degree of danger, or a place that is difficult for the crew to visually recognize can be set as the specific imaging device.
  • a place where people tend to gather due to the structure of the platform is, for example, the vicinity of a place where stairs, escalators, or elevators are installed.
  • a place where the risk is estimated to be high due to the structure of the platform is, for example, a place where the platform is curved and a relatively large gap is created between the platform and the vehicle when the vehicle is stopped.
  • the “place where it is difficult for the crew to visually recognize due to the structure of the platform” is, for example, a place where the platform is curved and may be blocked from the crew's view by a stopped vehicle.
  • an imaging device whose captured image is always displayed on the display device may be set in advance.
  • the display processing unit 120 always selects an image captured by such an imaging device as an image to be displayed on the display device.
  • flag information indicating that an image is always selected is registered in advance in a predetermined storage area (for example, storage device 1040) in association with information on the corresponding imaging device.
  • the display processing unit 120 can always identify the image to be selected based on the presence or absence of such flag information regardless of the priority determined by the image analysis unit 110 .
  • the image analysis unit 110 may be configured to skip the process of detecting the number of persons in the image captured by the imaging device to which such flag information is added. By doing so, the overall amount of image processing can be reduced.
  • the priority is determined based on the number of persons detected from each of the plurality of images captured by the plurality of imaging devices 20 provided on the platform. Then, based on the determined priority, a predetermined number of images are selected as images to be displayed on the display device. Then, an image containing many people and having a high possibility of causing a warning event is preferentially displayed on the monitor checked by the employee or station staff. This makes it possible to efficiently confirm the safety of the platform based on the video, even if some restrictions are imposed on the number of videos (images) that can be transmitted at one time.
  • image analysis means for processing an image of an area including at least a portion of a station platform and detecting attentional events in said area; display processing means for executing image processing for adding a display notifying the presence of the caution event to the image when a caution event is detected from the image, and for displaying the image after the image processing on a display; display content setting means for changing the content of the display informing the presence of the caution event by setting;
  • a server device comprising 2.
  • the display processing means imparts to the image at least one of a display emphasizing an outer edge of the image and a display emphasizing an image region where the attention event is detected, as a display notifying the existence of the attention event.
  • the image analysis means includes: leaning against the platform door provided on the platform, catching a foreign object in the platform door, running into a train existing on the platform, presence of a person exceeding a predetermined threshold, presence of a stroller, and the presence of a wheelchair as the attention event; 1. or 2.
  • the display processing means adds character information to the image indicating the location where the attention event was detected. 1. to 3.
  • the display processing means imparts to the image text information indicating an imaging device that shot the image, or text information indicating a vehicle number corresponding to the shooting location of the image. 4.
  • the image analysis means is determining whether a train is present on the platform; changing the analysis target area of the image depending on whether or not the train exists; 1. to 5.
  • the server device according to any one of 7. When a train exists on the platform, the image analysis means narrows the analysis target area more than when a train exists on the platform. 6.
  • the image analysis means changes the type of event to be detected as the warning event depending on whether a train is present on the platform or when a train is present on the platform. 6. or7.
  • the display processing means changes a transmission destination of the image after the image processing based on a determination result as to whether or not a train exists on the platform. 6. to 8.
  • the server device according to any one of 10.
  • the image analysis means determines whether a train is present on the platform using a signal from an external device that detects the presence of a train. 6. to 9.
  • the server device according to any one of 11. Further comprising platform door control means for controlling the opening/closing state of a plurality of platform doors provided on the platform, The platform door control means controls each of the plurality of platform doors individually in a first control mode in which the plurality of platform doors are collectively controlled according to the detection result of the attention event by the image analysis means. switching to and from a second control mode; 1. to 10.
  • the server device according to any one of 12.
  • the image analysis means is Acquiring an image from each of a plurality of imaging devices provided on the platform; calculating the number of people in each of the plurality of images acquired from the plurality of imaging devices; determining a priority based on the number of people calculated for each of the plurality of images;
  • the display processing means is selecting an image to be displayed on the display from among the plurality of images based on the determined priority; 1. to 11.
  • the server device according to any one of 13.
  • the display processing means is Until an image to be displayed on the display is selected based on the priority, an image acquired from an imaging device predetermined as a specific imaging device among the plurality of imaging devices is used as an image to be displayed on the display. select, 12.
  • a computer-implemented image processing method comprising: processing an image of a region including at least a portion of a station platform and detecting attentional events in said region; when an attention event is detected from the image, performing image processing for adding a display to the image indicating the existence of the attention event, and displaying the image after the image processing on a display; making it possible to change the content of the display that informs the existence of the caution event by setting;
  • An image processing method comprising: 15.
  • the computer gives at least one of an indication that emphasizes the outer edge of the image and an indication that emphasizes an image region where the attention event is detected to the image as an indication that indicates the presence of the attention event. 14.
  • the computer detects that the user is leaning against the platform door provided on the platform, an object is caught in the platform door, the train is rushing into the train on the platform, the presence of a person exceeding a predetermined threshold, the presence of a stroller, and the presence of a wheelchair. detecting as the attention event at least one of the presence of 14. or 15.
  • the image processing method described in . 17. wherein the computer attaches textual information to the image indicating where the attention event was detected; 14. to 16.
  • the computer assigns to the image text information indicating an imaging device that shot the image, or text information indicating a vehicle number corresponding to the shooting location of the image. 17. including The image processing method described in . 19.
  • said computer determining whether a train is present on said platform; changing the analysis target area of the image depending on whether or not the train exists; 14. to 18.
  • the image processing method according to any one of 20 When the train exists on the platform, the computer makes the analysis target area narrower than when the train exists on the platform. 19.
  • the image processing method described in . 21 The computer changes the type of event detected as the attention event depending on whether there is a train on the platform or when the train is on the platform; 19. or 20.
  • the image processing method described in . 22 The computer changes the transmission destination of the image after the image processing based on the determination result as to whether a train exists on the platform. 19. to 21.
  • the computer determines whether a train is present on the platform using a signal from an external device that detects the presence of a train; 19. to 22.
  • the image processing method according to any one of 24. the computer controlling the opening/closing state of a plurality of platform doors provided on the platform; In controlling the open/close state of the platform doors, a first control mode collectively controls the plurality of platform doors and a second control mode individually controls each of the plurality of platform doors according to the detection result of the attention event. to switch between the control modes of 14. to 23.
  • the image processing method according to any one of 25.
  • the computer Acquiring an image from each of a plurality of imaging devices provided on the platform; calculating the number of people in each of the plurality of images acquired from the plurality of imaging devices; determining a priority based on the number of people calculated for each of the plurality of images; selecting an image to be displayed on the display from among the plurality of images based on the determined priority; 14. to 24.
  • the image processing method according to any one of 26. the computer Until an image to be displayed on the display is selected based on the priority, an image acquired from an imaging device predetermined as a specific imaging device among the plurality of imaging devices is used as an image to be displayed on the display. select, 25.
  • image analysis means for processing an image of an area including at least part of a station platform and detecting attention events in said area; display processing means for executing image processing for adding a display notifying the presence of the caution event to the image when a caution event is detected from the image, and for displaying the image after the image processing on a display; display content setting means for changing the content of the display informing the existence of the caution event by setting;
  • the display processing means imparts to the image at least one of a display emphasizing an outer edge of the image and a display emphasizing an image region where the attention event is detected, as a display notifying the existence of the attention event. 27. program described in . 29.
  • the image analysis means includes: leaning against the platform door provided on the platform, catching a foreign object in the platform door, running into a train existing on the platform, presence of a person exceeding a predetermined threshold, presence of a stroller, and the presence of a wheelchair as the attention event; 27. or 28. program described in . 30.
  • the display processing means adds character information to the image indicating the location where the attention event was detected. 27. to 29. A program according to any one of 31.
  • the display processing means imparts to the image text information indicating an imaging device that shot the image, or text information indicating a vehicle number corresponding to the shooting location of the image. 30. program described in . 32.
  • the image analysis means is determining whether a train is present on the platform; changing the analysis target area of the image depending on whether or not the train exists; 27. to 31.
  • the image analysis means changes the type of event to be detected as the warning event depending on whether a train is present on the platform or when a train is present on the platform. 32. or 33. program described in . 35.
  • the display processing means changes a transmission destination of the image after the image processing based on a determination result as to whether or not a train exists on the platform. 32. to 34.
  • the image analysis means determines whether a train is present on the platform using a signal from an external device that detects the presence of a train. 32. to 35.
  • platform door control means for controlling the opening/closing state of a plurality of platform doors provided on the platform, The platform door control means controls each of the plurality of platform doors individually in a first control mode in which the plurality of platform doors are collectively controlled according to the detection result of the attention event by the image analysis means. switching to and from a second control mode; 27. to 36.
  • the image analysis means is Acquiring an image from each of a plurality of imaging devices provided on the platform; calculating the number of people in each of the plurality of images acquired from the plurality of imaging devices; determining a priority based on the number of people calculated for each of the plurality of images;
  • the display processing means is selecting an image to be displayed on the display from among the plurality of images based on the determined priority; 27. to 37.
  • the display processing means is Until an image to be displayed on the display is selected based on the priority, an image acquired from an imaging device predetermined as a specific imaging device among the plurality of imaging devices is used as an image to be displayed on the display. select, 38. program described in .
  • image processing system 10 server device 110 image analysis unit 120 display processing unit 130 display content setting unit 140 platform door control unit 1010 bus 1020 processor 1030 memory 1040 storage device 1050 input/output interface 1060 network interface 20 imaging device 30 transmitter 40 receiver 50 crew monitor 60 station staff monitor 70 signal equipment 80 platform door unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

サーバ装置(10)は、画像解析部(110)、表示処理部(120)および表示内容設定部(130)を備える。画像解析部(110)は、駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する。表示処理部(120)は、前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる。表示内容設定部(130)は、前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする。

Description

サーバ装置、画像処理方法およびプログラム
 本発明は、公共交通機関のプラットホームにおける映像監視技術に関する。
 鉄道駅などのプラットホームにおいて、安全を確保するために、監視カメラの映像を用いた監視が行われている。プラットホームにおける映像監視技術の一例が、例えば、下記特許文献1乃至3に開示されている。
 特許文献1には、画像の差分比較に基づいて車両ドアにおける挟み込みを検知した場合、モニタに出力されている映像上に赤枠を描画する技術が開示されている。特許文献2には、プラットホームに設けられた監視カメラの映像から要支援者を検出した場合に、当該要支援者の映像とその他の監視カメラの映像とを並べて合成し、合成した映像をミリ波通信によって列車側表示モニタに送信する技術が開示されている。特許文献3には、3次元ステレオカメラによって取得された画像情報を解析することによって、接車の危険性があるエリアに人が侵入したか否かを判定し、その危険性がある場合に警報を作動させる技術が開示されている。
再表WO2018/180311号 特開2020-050116号公報 特開2015-198317号公報
 特許文献1乃至3に開示される技術のように、映像を用いてプラットホームを監視する場合において、プラットホームでの安全性を確保するためには、公共交通機関の従業員がプラットホームの状況について正確かつ迅速に把握する必要がある。
 本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、プラットホームの映像を確認する公共交通機関の従業員がプラットホームの状況を正確かつ迅速に把握することを支援する技術を提供することである。
 本開示におけるサーバ装置は、
 駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段と、
 前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段と、
 前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段と、
 を備える。
 本開示における画像処理方法は、コンピュータによって実行される。
 当該画像処理方法は、
 駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出し、
 前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させ、
 前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする、
 ことを含む。
 本開示におけるプログラムは、
 駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段、
 前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段、
 前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段、
 として機能させる。
 本発明によれば、公共交通機関の従業員がプラットホームの映像から現在の状況を正確かつ迅速に把握することが可能となる。
第1実施形態における画像処理システムの構成を例示する図である。 サーバ装置のハードウエア構成を例示する図である。 第1実施形態のサーバ装置により実行される処理の流れを例示するフローチャートである。 第2実施形態のサーバ装置により実行される処理の流れを例示するフローチャートである。 第3実施形態における画像処理システムの構成を例示する図である。 プラットホームに列車が存在する場合において表示処理部120が設定する、画像の解析対象領域を例示する図である。 プラットホームに列車が存在しない場合において表示処理部120が設定する、画像の解析対象領域を例示する図である。 第3実施形態のサーバ装置によって実行される処理の流れを例示するフローチャートである。 第3実施形態の第1の変形例のサーバ装置によって実行される処理の流れを例示するフローチャートである。 第3実施形態の第2の変形例のサーバ装置によって実行される処理の流れを例示するフローチャートである。 第5実施形態における画像処理システムの構成を例示する図である。 第6実施形態の表示処理部によってディスプレイ装置に出力される画像の一例を示す図である。 第1実施形態の表示処理部120によってディスプレイ装置上に表示される、画像処理後の画像の一例を示す図である。 第1実施形態の表示処理部120によってディスプレイ装置上に表示される、画像処理後の画像の一例を示す図である。
 以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中に矢印がある場合、その矢印の向きは、情報の流れを分かり易く示すためのものに過ぎず、特に説明のない限り通信の方向(一方向/双方向)を限定しない。
 [第1実施形態]
 図1は、第1実施形態における画像処理システムの構成を例示する図である。図1に例示される画像処理システム1は、サーバ装置10、撮像装置20、送信機30、受信機40、乗務員用モニタ50を含んで構成されている。
 サーバ装置10は、撮像装置20から取得される画像(プラットホームの映像)を処理し、列車Tの乗務員用のディスプレイ装置(乗務員用モニタ50)または駅構内で勤務している駅員用のディスプレイ装置(駅員用モニタ60)に処理後の画像を表示させる。本実施形態に係るサーバ装置10の機能については後述する。
 撮像装置20は、図示されていないが、駅のプラットホームの様々な場所に設けられており、当該プラットホームの少なくとも一部を含む領域の画像(映像)を生成する。撮像装置20により生成された画像(映像)は、サーバ装置10によって解析される。
 送信機30は、サーバ装置10により処理された画像を、例えばミリ波周波数帯の電波(搬送波)を使って、外部に送信する。受信機40は、列車T毎に備えられており、送信機30から送信された電波を受信する。受信機40は、図示しない内部の電子回路を介して、受信した電波から画像データを取り出す。取り出された画像データは、乗務員用モニタ50に送信される。これにより、乗務員用モニタ50に、サーバ装置10によって処理された画像が表示される。乗務員用モニタ50は、例えば、列車Tに組み込まれる据え置き型のモニタ装置であってもよいし、乗務員が使用するスマートフォンやタブレット端末といった、携帯型のモニタ装置であってもよい。
 駅員用モニタ60は、例えば、駅構内の駅員室に設けられている。駅員用モニタ60は、例えば、図示しないネットワークを介して、サーバ装置10と通信可能に接続されている。このネットワークを介して、サーバ装置10によって処理された画像が、駅員用モニタ60に送信される。そして、サーバ装置10によって処理された画像が、駅員用モニタ60に表示される。
 <サーバ装置10の機能構成例>
 図1に例示されるように、本実施形態のサーバ装置10は、画像解析部110、表示処理部120、および表示内容設定部130を備える。
 画像解析部110は、駅のプラットホームの少なくとも一部を含む領域の画像を処理し、当該領域における注意事象を検出する。ここで、「注意事象」とは、駅のプラットホームに存在する人の安全を脅かすまたは脅かし得る様々な事象、換言すると、列車Tの乗務員や駅構内で勤務している駅員が必要に応じて適切な措置を取らなければならない様々な事象を指す。
 「注意事象」の例としては、プラットホームに設けられたホームドアに人が寄りかかっていること、ホームドアまたは列車のドアに異物(人または持ち物)が挟み込まれること、プラットホームに存在する列車へ人が駆け込んできていること、プラットホームが混雑している(所定の閾値以上の人数が存在している)こと、プラットホームにベビーカーや車いすが存在していること、プラットホームに白杖使用者が存在していること、喧嘩や言い争いが発生していること、人が倒れこんだ/倒れこんでいること、および、犯罪行為または犯罪に関連する行為(例:不審者のうろつきなど)が発生していること、などが挙げられる。画像解析部110は、撮像装置20によって生成された画像を解析して、ここで挙げた例の少なくとも1つを「注意事象」として検出する。なお、画像解析部110は、例えば、既知の機械学習アルゴリズムを用いて上述の「注意事象」の少なくとも1つを検出可能に学習された機械学習モデルを用いることで、入力された画像から注意事象を検出することができる。
 表示処理部120は、画像解析部110によって画像から何らかの注意事象が検出された場合、注意事象の存在を知らせる表示(以下、「注意表示」とも表記)を当該画像に付与する画像処理を実行する。表示処理部120は、例えば、画像の外縁部を強調する表示および注意事象が検出された画像内の領域を強調する表示の少なくとも一方を、上述の注意表示として画像に付与する。また、表示処理部120は、画像処理後の画像(注意表示を含む画像)をディスプレイ装置に表示させる。例えば、表示処理部120は、画像処理後の画像を、列車Tの乗務員が使用する乗務員用モニタ50、または、駅構内で勤務する駅員が使用する駅員用モニタ60に送信し、乗務員用モニタ50または駅員用モニタ60上に表示させる。乗務員や駅員は、画像に付与された注意表示によって、注意事象の存在(注意事象が発生しているか否か)を容易に判断できる。
 図13および図14は、第1実施形態の表示処理部120によってディスプレイ装置上に表示される、画像処理後の画像の一例を示す図である。図13の例では、表示処理部120は、画像の外縁部を強調する表示D1を、処理対象の画像に付与している。図14の例では、表示処理部120は、注意事象が検出された画像内の領域を強調する表示D2(ヒートマップ)を、処理対象の画像に付与している。表示処理部120は、複数の撮像装置20から得られる複数の画像をそれぞれ処理した後、これら複数の画像処理後の画像を結合して1つの画像を生成するように構成されていてもよい。この場合、例えば、表示処理部120は、複数の撮像装置20によって略同時刻に生成された複数の画像の各々について、画像解析部110による注意事象の検出結果に基づいて、注意表示を付与する画像処理を実行するか否かを決定する。そして、表示処理部120は、それぞれの画像を所定の出力用レイアウトに従って配置することによって、1枚の画像を生成することができる。この場合において、出力用レイアウトを定義するデータは、例えば、サーバ装置10に備えられるメモリやストレージデバイスなどの記憶領域に予め記憶されている。
 表示内容設定部130は、表示処理部120の画像処理によって画像に付与される注意表示の内容を、設定に応じて変更可能とする。注意表示の設定を示す情報は、例えば、表示処理部120が処理の中で参照する所定の設定ファイルに登録されている。表示内容設定部130は、ユーザからの入力に基づいて、当該設定ファイルに情報を新たに登録する機能および当該設定ファイルの既存の情報を更新する機能を有する。例えば、設定ファイルには、路線単位または鉄道会社単位といった所定の単位で注意表示の設定が登録される。また、表示内容設定部130は、例えば、乗務員や駅員が使用する従業員端末(図示せず)からの入力に応じて、設定ファイルの登録内容を任意のタイミングで変更することができる。表示内容設定部130によって設定が変更されると、表示処理部120は、画像処理において画像に対して付与する注意表示の種類を、変更後の設定に対応する種類に切り替える。
 <ハードウエア構成例>
 サーバ装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、サーバ装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
 図2は、サーバ装置10のハードウエア構成を例示する図である。図2に例示されるサーバ装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
 バス1010は、各ハードウエア構成要素の間でデータを送受信するためのデータ伝送路である。ただし、サーバ装置10の各ハードウエア構成要素を接続する方法は、バス接続に限定されない。
 プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
 メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
 ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は、サーバ装置10の各機能(画像解析部110、表示処理部120、表示内容設定部130など)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれらのプログラムモジュールをそれぞれメモリ1030上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
 入出力インタフェース1050は、サーバ装置10と各種入出力機器とを接続するためのインタフェースである。図2の例では、入出力インタフェース1050には、キーボード、マウス、タッチパネル、ディスプレイ、スピーカーといった入出力機器(図示せず)が接続され得る。
 ネットワークインタフェース1060は、サーバ装置10をネットワークに接続するためのインタフェースである。ネットワークインタフェース1060は、有線または無線によって、サーバ装置10をネットワークに接続する。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。サーバ装置10は、ネットワークインタフェース1060を介して、ネットワーク上の他の装置と通信して様々なデータを送受信することができる。例えば、サーバ装置10は、ネットワークインタフェース1060を介して撮像装置20と通信し、撮像装置20により撮像された映像(画像)を取得することができる。また、サーバ装置10は、ネットワークインタフェース1060を介して送信機30と通信し、乗務員用モニタ50に表示させる画像(表示処理部120により処理された画像を含む)を送信機30に送信することができる。また、サーバ装置10は、ネットワークインタフェース1060を介して駅員用モニタ60と通信し、画像(表示処理部120により処理された画像を含む)を駅員用モニタ60に送信することができる。
 なお、図2の構成はあくまで一例であり、本発明は図2に示される内容に限定されない。例えば、サーバ装置10の各機能の少なくとも一部が、サーバ装置10と通信可能に接続された別のサーバ装置(図示せず)に備えられていてもよい。また、複数の撮像装置20がそれぞれプラットホームの様々な位置に設置されている場合に、複数の撮像装置20それぞれによって生成される各映像(各画像)を、乗務員用モニタ50に送信する映像(画像)と、そうでない映像(画像)とに分配する他のサーバ装置が更に設けられていてもよい。また、そのような分配を行う機能は、サーバ装置10が備えていてもよい。また、図2の例では、サーバ装置10が送信機30および受信機40間の情報のやり取りを制御しているが、送信機30および受信機40間の情報のやり取りを制御する他のサーバ装置が、ネットワークを介してサーバ装置10と接続されていてもよい。この場合、サーバ装置10は、送信機30から送信すべき映像(画像)のデータを当該他のサーバ装置に渡し、当該他のサーバ装置が送信機30を制御して映像(画像)を受信機40に送信する。
 <処理の流れ>
 図3は、第1実施形態のサーバ装置10により実行される処理の流れを例示するフローチャートである。
 画像解析部110は、撮像装置20により生成された画像を解析し、注意事象を検出する(S102)。画像解析部110は、例えば、入力画像を受け付けて注意事象の検出結果を出力するように構築された機械学習モデルに撮像装置20から取得した画像を入力する。画像解析部110は、機械学習モデルからの出力に基づいて、注意事象が発生しているか否か、および、発生している場合にはその注意事象の種類を判定することができる。
 撮像装置20により生成された画像から注意事象が検出された場合(S104:YES)、表示処理部120は、当該画像に注意表示を付与する画像処理を実行する。表示処理部120は、まず、注意表示に関する設定(画像に付与すべき注意表示の種類)を取得する(S106)。例えば、表示処理部120は、ストレージデバイス1040などに保存されている設定ファイルを読み出し、当該設定ファイルに格納されている情報に基づいて、画像に付与すべき注意表示の種類を特定する。そして、表示処理部120は、S106の処理で取得した設定に従って、注意表示を画像に付与する画像処理を実行する(S108)。そして、表示処理部120は、注意表示を付与した画像を、対象のディスプレイに表示させる(S110)。例えば、表示処理部120は、送信機30を制御して、注意表示を付与した画像のデータを搬送する電波を送信機30から送信させる。送信機30から送信された電波は受信機40によって受信される。乗務員用モニタ50は、受信機40によって電波から取り出しされる画像データを、表示領域上に表示する。また例えば、表示処理部120は、ネットワークを介して接続された駅員用モニタ60に、注意表示を付与した画像のデータを送信する。駅員用モニタ60は、ネットワークを介して取得した画像データに基づいて、表示領域に画像を表示する。
 一方、撮像装置20により生成された画像から注意事象が検出されなかった場合(S104:NO)、表示処理部120は、注意表示を付与する画像処理を実行しない。この場合、注意表示のない画像が対象のディスプレイに表示される(S110)。
 また、表示内容設定部130は、注意表示の設定を変更するためのユーザ入力がないかどうかを監視している(S112)。ここで、注意表示の設定を変更するためのユーザ入力を検出した場合(S112:YES)、表示内容設定部130は、そのユーザ入力に基づいて、注意表示の設定を更新する(S114)。例えば、表示内容設定部130は、ストレージデバイス1040など保存されている設定ファイルの情報を、ユーザ入力に従って更新する。このように設定ファイルが更新された後、表示処理部120による画像処理の内容(画像に付与される注意表示の種類)も変更されることになる。
 上述の処理は、画像の出力が終了するまで繰り返し実行される(S116)。例えば、列車Tが出発してプラットホームから離れたことを各種センサ(図示せず)で検知した場合に、乗務員用モニタ50に対して画像を出力する処理が終了する。また例えば、駅員の使用する端末(図示せず)上で画像の出力を停止させる入力が実行された場合に、駅員用モニタ60に対して画像を出力する処理が終了する。
 本実施形態で説明したように、画像上に注意事象の存在を知らせる表示(注意表示)を付与することにより、乗務員や駅員が、撮像装置20の映像(画像)から注意事象が発生していることを容易に認識できる。また、本実施形態で説明したように注意表示の種類を変更可能とすることで、乗務員や駅員が、プラットホームで発生した注意事象に対して、正確かつ迅速に対処することができるようになる。例えば、画像に付与された注意表示は、その表示の種類によっては、発生している事象の状況を画像上で分かりにくくする可能性もある。ここで、本実施形態で説明したように、表示内容設定部130によって注意表示の種類を変更することができれば、乗務員や駅員が、画像を見辛くする要素を排除して、画像上で状況をより的確に把握できるようになる。例えば、乗務員や駅員が、注意表示の種類を、注意事象が発生している画像領域に所定の表示要素(ヒートマップなど)を重畳させるようなタイプのものから、画面の枠外を強調するタイプのものへと変更することで、画像の視認性を向上させることができる。また、乗務員や駅員が注意表示を視認して注意事象の発生に気づいた場合、注意表示を出力することによる目的は既に達成されているため、その後に注意表示を画像上に付与し続けなくてもよい。この場合、乗務員や駅員が、注意表示を付与しないように設定を適宜変更することで、画像の視認性を更に向上させることができる。このように注意表示の種類を適宜変更可能とすることによって、乗務員や駅員が注意事象の状況(注意事象の内容や発生場所など)を正確かつ迅速に把握できるようになる。そして、プラットホーム上で注意事象が発生した場合に乗務員や駅員が適切かつ迅速に動くことによって、プラットホームの安全性が確保される。
 [第2実施形態]
 本実施形態の画像処理システム1およびサーバ装置10は、以下で説明する点を除き、第1実施形態と同様の構成(例:図1)を有する。
 本実施形態において、表示処理部120は、画像解析部110により注意事象が検出された場合、その注意事象が検出された場所を示す文字情報を画像に付与する処理を更に実行する。一例として、表示処理部120は、注意事象が検出された画像を撮影したカメラを示す文字情報を画像に付与する。表示処理部120は、例えば、画像に付加されたメタデータを参照することで、その画像を撮影したカメラの識別情報(シリアル番号など)を取得することができる。この場合、表示処理部120は、取得したカメラの識別情報を文字情報として画像に付与してもよい。また、カメラの識別情報とカメラの設置場所または撮影場所とを対応付けて記憶するデータベースなどが用意されている場合、表示処理部120は、当該データベースから、取得したカメラの識別情報に対応付けられているカメラの設置場所または撮影場所の情報を取得することができる。この場合、表示処理部120は、カメラの識別情報に基づいて取得したカメラの設置場所または撮影場所を、文字情報として画像に付与してもよい。また、カメラの撮影場所を示す情報が取得できた場合、表示処理部120は、当該画像の撮影場所に対応する車両の番号を特定し、当該車両の番号を示す文字情報を画像に付与するように構成されていてもよい。
 また、表示処理部120は、注意事象が検出された場所を示す文字情報に加えて(あるいは代えて)、注意事象の種類を示す文字情報を表示するように構成されていてもよい。例えば、画像解析部110が「ホームドアまたは列車のドアに異物(人または持ち物)が挟み込まれる」という注意事象を画像から検出したとする。この場合、表示処理部120は、検出された注意事象の種別を示す文字情報(例:「挟み込みを検知!」といった所定のメッセージ)を、当該画像に付与してもよい。この場合、例えば、画像解析部110により検出された注意事象の種別を示す情報と、出力すべき文字情報との対応関係を定義する定義情報が、メモリ1030やストレージデバイス1040などの所定の記憶領域に予め記憶される。表示処理部120は、画像解析部110により検出された注意事象の種別の情報を用いて、当該定義情報の中から出力すべき文字情報を取得することができる。
 <処理の流れ>
 図4は、第2実施形態のサーバ装置10により実行される処理の流れを例示するフローチャートである。図4のフローチャートは、S202の工程を更に含んでいる点を除き、図3のフローチャートと同様である。以下では、図3と同様の処理については説明を適宜省略する。
 撮像装置20から取得した画像を解析した結果、注意事象が検出された場合(S104:YES)、表示処理部120は、設定に従って注意表示を画像に付与する(S106、S108)。本実施形態では、表示処理部120は、更に、注意事象の発生場所を示す文字情報を画像に付与する(S202)。例えば、表示処理部120は、画像のメタデータから、当該画像を撮像したカメラ(撮像装置20)の識別情報を取得し、当該カメラの識別情報を文字情報として画像に付与する。また、表示処理部120は、カメラの設置場所や撮影場所を示す情報がカメラの識別情報に対応付けられている場合、取得したカメラの識別情報に対応付けられている設置場所や撮影場所を示す情報を取得して、画像に付与してもよい。また、表示処理部120は、カメラの識別情報または撮影場所と列車の車両(車両番号)との対応関係を記憶するデータベースなどが準備されている場合、当該データベースを参照して取得される列車の車両番号を示す文字情報を、画像に付与してもよい。
 本実施形態で画像に付与される文字情報に基づいて、乗務員や駅員は、注意事象が発生した場所(乗務員や駅員が向かうべき場所または目線を向けるべき場所)を即座に判断することができる。その結果として、乗務員や駅員が注意事象に対して早期に措置を取ることができ、プラットホームでの安全性を高める効果が期待できる。
 [第3実施形態]
 図5は、第3実施形態における画像処理システムの構成を例示する図である。図4に例示される画像処理システム1は、第1実施形態の構成に加えて、信号設備70を更に備えている。
 信号設備70は、プラットホーム内に列車が存在しているか否かを検知し、その結果をサーバ装置10に提供する。例えば、信号設備70は、プラットホームに到着した列車の車軸によって生じる短絡を検出し、その検出結果に応じて出力する信号を切り替えるように構成される。この場合、信号設備70は、短絡が検出されている間は、プラットホームに列車が存在することを示す信号をサーバ装置10に提供する。一方、信号設備70は、短絡が検出されていない間は、プラットホームに列車が存在しないことを示す信号をサーバ装置10に提供する。また、信号設備70は、図示しないプラットホーム近傍の線路を撮像範囲に含むカメラ(図示せず)の映像を解析して、プラットホームに進入する列車の存在を検知するように構成されていてもよい。また、信号設備70は、プラットホームの手前に設置されたセンサ類からの出力に基づいて、プラットホームに進入する列車の存在を検知するように構成されていてもよい。
 本実施形態のサーバ装置10は、以下で説明する点を除き、第1または第2の実施形態と同様の構成を有する。
 本実施形態において、画像解析部110は、注意事象の検出に関する画像解析を行う前に、プラットホームに列車が存在するか否かを判定する。一例として、画像解析部110は、列車の存在を検知する外部装置(例:信号設備70)からの信号を用いて、プラットホームに列車が存在するか否かを判定することができる。また、画像解析部110は、注意事象を検出する処理を対象の画像に対して行う前に、列車が存在するか否かを判定する処理を実行してもよい。この場合、画像解析部110は既知のオブジェクト認識技術を用いて、画像内に列車が存在するか否かを判定することができる。またこの場合、画像解析部110は、信号設備70の信号を取得または使用しなくてもよい。そして、画像解析部110は、プラットホームに列車が存在するか否かの判定結果に応じて、画像の解析対象領域(注意事象の検出処理が行われる画像領域)を変更する。
 一例として、プラットホームに列車が存在することを示す判定結果が得られた場合、画像解析部110は、撮像装置20により生成された画像の解析対象領域を、プラットホームに列車が存在していない場合よりも狭くする。具体的な例を、図6および図7を用いて説明する。図6は、プラットホームに列車が存在する場合において表示処理部120が設定する、画像の解析対象領域を例示する図である。図7は、プラットホームに列車が存在しない場合において表示処理部120が設定する、画像の解析対象領域を例示する図である。図6および図7に例示される画像は、同一のカメラによって異なるタイミングで撮影されたものである。ここで、図6および図7において、画像の解析対象領域として設定される領域が斜線で表されている。図示されるように、図6における画像の解析対象領域は、図7における画像の解析対象領域よりも狭くなっている。
 <処理の流れ>
 図8は、第3実施形態のサーバ装置10によって実行される処理の流れを例示するフローチャートである。図8のフローチャートで示される処理は、図3および図4のフローチャートで示される処理の前に実行される。
 画像解析部110は、プラットホームに列車が存在するか否かを判定する(S302)。例えば、画像解析部110は、信号設備70から提供される列車の在線状態を示す信号に基づいて、プラットホームに列車が存在するか否かを判別することができる、また例えば、画像解析部110は、撮像装置20から取得した映像(画像)に、列車と推定される領域があるか否かを判定し、その判定結果に基づいてプラットホームに列車が存在するか否かを判別することができる。この場合、画像解析部110は、例えば、既知のオブジェクト認識技術を用いて、画像の中から列車の領域を抽出することができる。
 プラットホームに列車が存在していると判定された場合(S302:YES)、画像解析部110は、プラットホームに列車が存在していない場合よりも狭い画像領域を、解析対象領域(第1の解析対象領域)として設定する(S304)。一方、プラットホームに列車が存在していると判定された場合(S302:YES)、画像解析部110は、第1の解析対象領域よりも広い画像領域を、解析対象領域(第2の解析対象領域)として設定する(S306)。第1の解析対象領域および第2の解析対象領域を決定するアルゴリズムは、例えば、ストレージデバイス1040に記憶されている。画像解析部110は、このアルゴリズムに基づいて、注意事象を検出する処理が行われる画像領域(解析対象領域)を決定することができる。
 列車の出発に関与しない注意事象が過剰に検出および通知された場合、乗務員の業務効率が低下する虞がある。本実施形態では、上述のとおり、プラットホームに列車が存在する場合に、列車の出発に関与する可能性が高い領域(例えば、列車またはホームドアの周辺領域)に画像の解析対象領域を絞り込んでいる。このようにすることで、列車の出発に関与する可能性の低い、プラットホーム中央部分での注意事象について乗務員に通知されなくなり、列車の出発について安全を確保しながら、乗務員の業務効率を維持することができる。
 <第1の変形例>
 本実施形態において、画像解析部110は、先に説明した処理に加えて、プラットホームに列車が存在するか否かに応じて、注意事象として検出する事象の種類を変更するように構成されていてもよい。
 例えば、画像解析部110は、プラットホームに列車が存在する場合、様々な注意事象のうち、列車の出発に関係のある種類の注意事象に絞って検出するように構成される。ここで、「列車の出発に関係のある種類の注意事象」の具体例としては、プラットホームに設けられたホームドアに人が寄りかかっていること、ホームドアに異物(人または持ち物)が挟み込まれること、プラットホームに存在する列車へ人が駆け込んできていること、プラットホームが混雑している(所定の閾値以上の人数が存在している)こと、プラットホームにベビーカーや車いすが存在していること、プラットホームに白杖使用者が存在していること、などが挙げられる。
 一方、画像解析部110は、プラットホームに列車が存在していない場合、プラットホームに列車が存在する場合に検出する注意事象に加えて、プラットホーム上での安全を確保するために検出すべき他の事象を検出するように構成される。例えば、プラットホームに列車が存在していない場合、画像解析部110は、喧嘩や言い争いが発生していること、人が倒れこんだこと、および、犯罪行為または犯罪に関連する行為(例:不審者のうろつきなど)が発生していることなどを、更に検出する。
 図9は、第3実施形態の第1の変形例のサーバ装置10によって実行される処理の流れを例示するフローチャートである。図9のフローチャートは、S308およびS310の処理を更に有している点で、図8のフローチャートと相違している。
 第1の変形例において、画像解析部110は、プラットホームに列車が存在するか否かの判定結果に応じて、画像から検出すべき注意事象の種類を選択する(S308、S310)。例えば、注意事象の種類別に学習モデルが準備されている場合、プラットホームに列車が存在しているときに使用する学習モデルと、プラットホームに列車が存在していないときに使用する学習モデルとをそれぞれ指定する情報が、所定の記憶領域(例:ストレージデバイス1040)に格納される。画像解析部110は、この情報に基づいて、それぞれのケースにおいて使用する学習モデルを選択することができる。これにより、画像解析部110は、それぞれのケースにおいて検出すべき注意事象の種別を選別することができる。
 <第2の変形例>
 また、表示処理部120は、プラットホームに列車が存在しているか否かの判定結果に基づいて、画像処理後の画像の送信先を変更してもよい。具体的には、表示処理部120は、プラットホームに列車が存在している場合には、乗務員用モニタ50に対して画像処理後の画像を送信し、プラットホームに列車が存在していない場合には、駅員用モニタ60に対して画像処理後の画像を送信する。
 図10は、第3実施形態の第2の変形例のサーバ装置10によって実行される処理の流れを例示するフローチャートである。図10のフローチャートは、S312およびS314の処理を更に有している点で、図8および図9のフローチャートと相違している。また、図示されるように、本変形例のサーバ装置10は、第1の変形例の処理(S308、S310の処理)を更に実行するように構成されていてもよい。
 本変形例において、表示処理部120は、プラットホームに列車が存在するか否かの判定結果に応じて、画像解析部110によって処理された画像の送信先を選択する(S312、S314)。例えば、プラットホームに列車が存在している場合における画像の送信先(乗務員用モニタ50)を示す情報と、プラットホームに列車が存在していない場合における画像の送信先(駅員用モニタ60)を示す情報が、所定の記憶領域(例:ストレージデバイス1040)に格納される。表示処理部120は、この情報に基づいて、それぞれのケースにおける画像の送信先を特定することができる。なお、表示処理部120は、S312およびS314の処理を、S110の処理の前の任意のタイミングで実行すればよい。
 このようにすることで、画像解析部110がプラットホームに列車が存在するか否かによって注意事象として検出する事象の種類が変わる場合において、画像処理後の画像を適切な人物に提示することができる。
 [第4実施形態]
 第3実施形態のサーバ装置10は、プラットホームに列車が存在しているか否かに応じて、画像の解析対象領域、検出すべき注視事象の種類、または、処理後の画像の送信先を変更するように構成されている。本実施形態では、第3実施形態とは異なり、画像の送信先に応じて、画像の解析対象領域および検出すべき注視事象の種類が変更されるケースについて説明する。
 本実施形態のサーバ装置10は、以下で説明する点を除き、第3実施形態と同様の構成(例:図5)を有する。
 第3実施形態で説明したように、列車がプラットホームに存在しているときに、列車の出発に関与しない注意事象が過剰に検出されて通知されると、乗務員の業務効率が低下し得る。そのため、第3実施形態のサーバ装置10は、列車の出発に関与する可能性の低い注意事象(例:プラットホームの中央付近で発生する注意事象)を検出しないよう、画像の解析対象領域が調節するように構成された。一方で、列車がプラットホームに存在しているときに、サーバ装置10がプラットホームの中央部分などで発生する注意事象を検出しないと、その注意事象への対処が遅れてしまう可能性もある。
 そこで、本実施形態のサーバ装置10は、例えば以下のように構成される。まず、画像解析部110は、列車がプラットホームに存在している場合に、乗務員用モニタ50に送る画像(乗務員用画像)と、駅員用モニタ60に送る画像(駅員用画像)とで、画像の解析対象領域および検出する注意事象の種類に関する設定を取得する。乗務員用画像および駅員用画像の設定に関する情報は、例えば、メモリ1030やストレージデバイス1040に予め記憶される。そして、画像解析部110は、乗務員用画像および駅員用画像の各々の設定に基づいて、撮像装置20により生成された画像に画像処理を実行する。そして、表示処理部120は、乗務員用画像の設定に基づく画像解析部110の画像処理結果に基づいて注意表示を付与した乗務員用画像と、駅員用画像の設定に基づく画像解析部110の画像処理結果に基づいて注意表示を付与した駅員用画像とを生成する。そして、表示処理部120は、乗務員用画像を送信機30から送信する。送信機30から送信された乗務員用画像は、受信機40を介して乗務員用モニタ50に送られ、乗務員用モニタ50に表示される。また、表示処理部120は、駅員用画像を、ネットワークを介して駅員用モニタ60に送信する。送信された駅員用画像は、駅員用モニタ60に表示される。
 本実施形態によれば、乗務員および駅員それぞれの業務に合わせてカスタマイズされた画像が、それぞれのモニタに表示される。例えば、第3実施形態の構成と同様に、乗務員用モニタ50上では、列車の出発に関与する注意事象のみが通知される。一方で、乗務員用モニタ50では通知されない、プラットホーム中央付近で発生した注意事象は、駅員用画像の生成時に検出され、駅員用モニタ60上に表示される。このようにすることで、プラットホームの安全性の確保と、業務効率の維持とを、より高い精度で実現できる。
 [第5実施形態]
 図11は、第5実施形態における画像処理システムの構成を例示する図である。本実施形態のサーバ装置10は、他の実施形態で説明した構成に加え、ホームドア制御部140を更に備える。なお、図11に例示されているサーバ装置10は、第1の実施形態の構成をベースとして、ホームドア制御部140を更に備えている。
 ホームドア制御部140は、プラットホームに設けられたホームドア(複数のホームドアユニット80)の開閉状態を制御する。本実施形態のホームドア制御部140は、画像解析部110による注意事象の検出結果に応じて、複数のホームドアユニット80を一括制御する第1の制御モードと、複数のホームドアユニット80の各々を個別に制御する第2の制御モードとを切り替える。具体的には、ホームドア制御部140は、画像解析部110により注意事象が検出されていない場合、第1の制御モードで複数のホームドアユニット80を制御する。一方、ホームドア制御部140は、画像解析部110により注意事象が検出された場合、第2の制御モードで複数のホームドアユニット80を制御する。
 第1の制御モードが設定されている場合、ホームドア制御部140は、例えば乗務員の操作によってサーバ装置10に送信される信号(ドアの開閉を要求する信号)の受信に応じて、全てのホームドアユニット80を一括して開閉するように動作する。
 第2の制御モードが設定されている場合、ホームドア制御部140は、例えば乗務員の操作によってサーバ装置10に送信される信号(ドアの開閉を要求する信号)の受信に応じて、安全が確認されたホームドアユニット80のみを開閉するように動作する。例えば、ホームドア制御部140は、プラットホーム上で注意事象が検出された場所に対応するホームドアユニット80を特定し、当該ホームドアユニット80の識別情報をメモリ1030やストレージデバイス1040などの記憶領域に一時的に記憶する。このようにして、ホームドア制御部140によって特定されたホームドアユニット80は、ドア開閉動作の対象外のホームドアユニット80として認識される。その後、ホームドア制御部140は、ドアの開閉を要求する信号を受信すると、ドア開閉動作の対象外とされたホームドアユニット80を除く、全てのホームドアユニット80を開閉する。なお、後の時点において注意事象が解消された場合には、ホームドア制御部140は、記憶領域に一時的に記憶した情報を削除する。これによって、ホームドア制御部140は、ドア開閉動作の対象外とされていたホームドアユニット80を開閉できるようになる。
 本実施形態では、注意事象が検出されている場合には各々のホームドアユニット80が個別に制御され、安全が確認できたホームドアユニット80から開閉動作が実行される。これにより、プラットホームに設置されたホームドア近辺での安全性を向上させることができる。
 [第6実施形態]
 プラットホームには、通常、複数の撮像装置(監視カメラ)が設けられる。乗務員や駅員が、ディスプレイ装置上でこれら複数の撮像装置の映像(画像)の全てを一度に確認することは困難である。また、送信機30および受信機40がミリ波周波数帯の電波を用いる場合に、一度に送受信できる画像データの数が制限されることもある。本実施形態のサーバ装置10は、上述の問題に対する更なる機能を備える点で、他の実施形態と異なる。本実施形態のサーバ装置10は、基本的には、以下で説明する点を除き、上述の他の実施形態のいずれかと同様の構成(例:図1、図5、図11)を有する。
 本実施形態において、画像解析部110は、プラットホームに備えられた複数の撮像装置から取得された複数の画像の各々の優先度を決定するように構成される。一例として、画像解析部110は、プラットホームに設けられた複数の撮像装置20から取得された複数の画像それぞれについて、画像に写っている人物の数を算出する。例えば、画像解析部110は、既知のオブジェクト認識技術を用いて、画像内の個々の人物の領域を検出し、検出された領域の数を人物の数として算出することができる。そして、画像解析部110は、複数の画像それぞれについて算出された人物の数に基づいて、複数の画像それぞれの優先度を決定する。例えば、画像解析部110は、画像に写っている人物の数が多いほど、その画像の優先度を高く設定することができる。
 また、本実施形態において、表示処理部120は、画像解析部110により決定された優先度に基づいて、ディスプレイ装置に表示させる画像を複数の画像の中から選択するように構成される。例えば、表示処理部120は、優先度の高い順に予め決められた数の画像を選択する。一度に送信することができる画像の数に上限がある場合、表示処理部120は、その上限数に達するまで、優先度の高い順に画像を選択する。そして、表示処理部120は、選択した画像を対象のディスプレイ装置に表示させる(例:図12)。
 図12は、第6実施形態の表示処理部120によってディスプレイ装置に出力される画像の一例を示す図である。図12の例では、表示領域が4つのサブ領域に分割されている。また、図12の例では、表示処理部120によって選択された4つの画像はそれぞれ対応するサブ領域に割り当てられ、1つの合成画像としてディスプレイ装置に出力されている。図12の例では、左下のサブ領域の画像と、右上のサブ領域の画像において注意事象が検出されている。表示処理部120は、左下のサブ領域の画像に対しては、画像の外枠部を強調する表示を付与する処理を実行している。また、表示処理部120は、右上のサブ領域の画像に対しては、注意事象が検知された画像領域を強調する表示(ヒートマップ)を付与する処理を実行している。図示していないが、表示処理部120は、第2実施形態で説明したように、注意事象が検出された場所を示す文字情報を更に付与してもよい。
 表示処理部120は、ディスプレイ装置に表示させる画像が優先度に基づいて選択されるまでは、複数の撮像装置20の中で予め定められた特定の撮像装置20(以下、「特定撮像装置」とも表記)によって撮影された画像を、ディスプレイ装置に表示させる画像として選択する。ここで、プラットホームの構造上、人が集まりやすい場所、危険度が高いと推測される場所、または乗務員が視認しにくい場所を撮像範囲に含む撮像装置20が特定撮像装置として設定され得る。「プラットホームの構造上、人が集まりやすい場所」とは、例えば、階段、エスカレータ、またはエレベータが設置されている場所の周辺などである。「プラットホームの構造上、危険度が高いと推測される場所」とは、例えば、プラットホームが湾曲しており、停車時にプラットホームと車両との間に比較的大きな隙間が生じる場所などである。「プラットホームの構造上、乗務員が視認しにくい場所」とは、例えば、プラットホームが湾曲しており、停車中の車両によって乗務員の視界から遮られる可能性のある場所などである。
 なお、本実施形態において、画像解析部110によって決定された優先度に関係なく、撮影した画像がディスプレイ装置に常に表示される撮像装置が、予め設定されていてもよい。表示処理部120は、そのような撮像装置によって撮影された画像を、ディスプレイ装置に表示する画像として常に選択する。この場合、例えば、常に画像を選択することを示すフラグ情報が、該当する撮像装置の情報に関連付けて所定の記憶領域(例えば、ストレージデバイス1040)に予め登録される。表示処理部120は、そのようなフラグ情報の有無に基づいて、画像解析部110により決定された優先度にかかわらず、常に選択すべき画像を識別することができる。また、画像解析部110は、このようなフラグ情報が付与されている撮像装置の画像について、人物の数を検出する処理をスキップするように構成されていてもよい。このようにすることで、全体的な画像処理量を削減することができる。
 以上、本実施形態によれば、プラットホームに設けられた複数の撮像装置20によって撮影された複数の画像それぞれについて、画像から検出される人物の数に基づいて優先度が決定される。そして、決定された優先度に基づいて、所定の数の画像がディスプレイ装置に表示される画像として選択される。そして、多くの人が写っており注意事象が発生する可能性の高い画像が、従業員や駅員の確認するモニタ上に優先的に表示される。これにより、一度に伝送できる映像(画像)の数に何らかの制約が課されている場合であっても、映像に基づいてプラットホームの安全性を効率的に確認することができる。
 以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。また、実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。
 また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
 上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
 駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段と、
 前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段と、
 前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段と、
 を備えるサーバ装置。
2.
 前記表示処理手段は、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
 1.に記載のサーバ装置。
3.
 前記画像解析手段は、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
 1.または2.に記載のサーバ装置。
4.
 前記表示処理手段は、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
 1.から3.のいずれか1つに記載のサーバ装置。
5.
 前記表示処理手段は、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
 4.に記載のサーバ装置。
6.
 前記画像解析手段は、
  前記プラットホームに列車が存在するか否かを判定し、
  前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
 1.から5.のいずれか1つに記載のサーバ装置。
7.
 前記画像解析手段は、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
 6.に記載のサーバ装置。
8.
 前記画像解析手段は、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
 6.または7.に記載のサーバ装置。
9.
 前記表示処理手段は、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
 6.から8.のいずれか1つに記載のサーバ装置。
10.
 前記画像解析手段は、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
 6.から9.のいずれか1つに記載のサーバ装置。
11.
 前記プラットホームに設けられた複数のホームドアの開閉状態を制御するホームドア制御手段を更に備え、
 前記ホームドア制御手段は、前記画像解析手段による前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
 1.から10.のいずれか1つに記載のサーバ装置。
12.
 前記画像解析手段は、
  前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
  前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
  前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
 前記表示処理手段は、
  決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
 1.から11.のいずれか1つに記載のサーバ装置。
13.
 前記表示処理手段は、
  前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
 12.に記載のサーバ装置。
14.
 コンピュータによって実行される画像処理方法であって、
 駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出し、
 前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させ、
 前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする、
 ことを含む画像処理方法。
15.
 前記コンピュータが、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
 ことを含む14.に記載の画像処理方法。
16.
 前記コンピュータが、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
 ことを含む14.または15.に記載の画像処理方法。
17.
 前記コンピュータが、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
 ことを含む14.から16.のいずれか1つに記載の画像処理方法。
18.
 前記コンピュータが、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
 ことを含む17.に記載の画像処理方法。
19.
 前記コンピュータが
  前記プラットホームに列車が存在するか否かを判定し、
  前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
 ことを含む14.から18.のいずれか1つに記載の画像処理方法。
20.
 前記コンピュータが、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
 ことを含む19.に記載の画像処理方法。
21.
 前記コンピュータが、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
 ことを含む19.または20.に記載の画像処理方法。
22.
 前記コンピュータが、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
 ことを含む19.から21.のいずれか1つに記載の画像処理方法。
23.
 前記コンピュータが、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
 ことを含む19.から22.のいずれか1つに記載の画像処理方法。
24.
 前記コンピュータが、
 前記プラットホームに設けられた複数のホームドアの開閉状態を制御し、
 前記ホームドアの開閉状態の制御において、前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
 ことを含む14.から23.のいずれか1つに記載の画像処理方法。
25.
 前記コンピュータが、
  前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
  前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
  前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
  決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
 ことを含む14.から24.のいずれか1つに記載の画像処理方法。
26.
 前記コンピュータが、
  前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
 ことを含む25.に記載の画像処理方法。
27.
 コンピュータを、
 駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段、
 前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段、
 前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段、
 として機能させるためのプログラム。
28.
 前記表示処理手段は、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
 27.に記載のプログラム。
29.
 前記画像解析手段は、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
 27.または28.に記載のプログラム。
30.
 前記表示処理手段は、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
 27.から29.のいずれか1つに記載のプログラム。
31.
 前記表示処理手段は、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
 30.に記載のプログラム。
32.
 前記画像解析手段は、
  前記プラットホームに列車が存在するか否かを判定し、
  前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
 27.から31.のいずれか1つに記載のプログラム。
33.
 前記画像解析手段は、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
 32.に記載のプログラム。
34.
 前記画像解析手段は、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
 32.または33.に記載のプログラム。
35.
 前記表示処理手段は、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
 32.から34.のいずれか1つに記載のプログラム。
36.
 前記画像解析手段は、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
 32.から35.のいずれか1つに記載のプログラム。
37.
 前記プラットホームに設けられた複数のホームドアの開閉状態を制御するホームドア制御手段を更に備え、
 前記ホームドア制御手段は、前記画像解析手段による前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
 27.から36.のいずれか1つに記載のプログラム。
38.
 前記画像解析手段は、
  前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
  前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
  前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
 前記表示処理手段は、
  決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
 27.から37.のいずれか1つに記載のプログラム。
39.
 前記表示処理手段は、
  前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
 38.に記載のプログラム。
 この出願は、2021年2月19日に出願された日本出願特願2021-024954号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 画像処理システム
10 サーバ装置
110 画像解析部
120 表示処理部
130 表示内容設定部
140 ホームドア制御部
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース
20 撮像装置
30 送信機
40 受信機
50 乗務員用モニタ
60 駅員用モニタ
70 信号設備
80 ホームドアユニット

Claims (39)

  1.  駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段と、
     前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段と、
     前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段と、
     を備えるサーバ装置。
  2.  前記表示処理手段は、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
     請求項1に記載のサーバ装置。
  3.  前記画像解析手段は、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
     請求項1または2に記載のサーバ装置。
  4.  前記表示処理手段は、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
     請求項1から3のいずれか1項に記載のサーバ装置。
  5.  前記表示処理手段は、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
     請求項4に記載のサーバ装置。
  6.  前記画像解析手段は、
      前記プラットホームに列車が存在するか否かを判定し、
      前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
     請求項1から5のいずれか1項に記載のサーバ装置。
  7.  前記画像解析手段は、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
     請求項6に記載のサーバ装置。
  8.  前記画像解析手段は、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
     請求項6または7に記載のサーバ装置。
  9.  前記表示処理手段は、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
     請求項6から8のいずれか1項に記載のサーバ装置。
  10.  前記画像解析手段は、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
     請求項6から9のいずれか1項に記載のサーバ装置。
  11.  前記プラットホームに設けられた複数のホームドアの開閉状態を制御するホームドア制御手段を更に備え、
     前記ホームドア制御手段は、前記画像解析手段による前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
     請求項1から10のいずれか1項に記載のサーバ装置。
  12.  前記画像解析手段は、
      前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
      前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
      前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
     前記表示処理手段は、
      決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
     請求項1から11のいずれか1項に記載のサーバ装置。
  13.  前記表示処理手段は、
      前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
     請求項12に記載のサーバ装置。
  14.  コンピュータによって実行される画像処理方法であって、
     駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出し、
     前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させ、
     前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする、
     ことを含む画像処理方法。
  15.  前記コンピュータが、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
     ことを含む請求項14に記載の画像処理方法。
  16.  前記コンピュータが、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
     ことを含む請求項14または15に記載の画像処理方法。
  17.  前記コンピュータが、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
     ことを含む請求項14から16のいずれか1項に記載の画像処理方法。
  18.  前記コンピュータが、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
     ことを含む請求項17に記載の画像処理方法。
  19.  前記コンピュータが
      前記プラットホームに列車が存在するか否かを判定し、
      前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
     ことを含む請求項14から18のいずれか1項に記載の画像処理方法。
  20.  前記コンピュータが、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
     ことを含む請求項19に記載の画像処理方法。
  21.  前記コンピュータが、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
     ことを含む請求項19または20に記載の画像処理方法。
  22.  前記コンピュータが、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
     ことを含む請求項19から21のいずれか1項に記載の画像処理方法。
  23.  前記コンピュータが、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
     ことを含む請求項19から22のいずれか1項に記載の画像処理方法。
  24.  前記コンピュータが、
     前記プラットホームに設けられた複数のホームドアの開閉状態を制御し、
     前記ホームドアの開閉状態の制御において、前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
     ことを含む請求項14から23のいずれか1項に記載の画像処理方法。
  25.  前記コンピュータが、
      前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
      前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
      前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
      決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
     ことを含む請求項14から24のいずれか1項に記載の画像処理方法。
  26.  前記コンピュータが、
      前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
     ことを含む請求項25に記載の画像処理方法。
  27.  コンピュータを、
     駅のプラットホームの少なくとも一部を含む領域の画像を処理し、前記領域における注意事象を検出する画像解析手段、
     前記画像から注意事象が検出された場合、前記注意事象の存在を知らせる表示を前記画像に付与する画像処理を実行し、前記画像処理後の画像をディスプレイに表示させる表示処理手段、
     前記注意事象の存在を知らせる表示の内容を、設定により変更可能とする表示内容設定手段、
     として機能させるためのプログラム。
  28.  前記表示処理手段は、前記画像の外縁を強調する表示および前記注意事象が検出された画像領域を強調する表示の少なくとも一方を、前記注意事象の存在を知らせる表示として前記画像に付与する、
     請求項27に記載のプログラム。
  29.  前記画像解析手段は、前記プラットホームに設けられたホームドアへの寄りかかり、前記ホームドアでの異物の挟み込み、前記プラットホームに存在する列車への駆け込み、所定の閾値以上の人の存在、ベビーカーの存在、および車いすの存在のうち少なくとも1つを、前記注意事象として検出する、
     請求項27または28に記載のプログラム。
  30.  前記表示処理手段は、前記注意事象が検出された場所を示す文字情報を前記画像に付与する、
     請求項27から29のいずれか1項に記載のプログラム。
  31.  前記表示処理手段は、前記画像を撮影した撮像装置を示す文字情報、または、前記画像の撮影場所に対応する車両番号を示す文字情報を前記画像に付与する、
     請求項30に記載のプログラム。
  32.  前記画像解析手段は、
      前記プラットホームに列車が存在するか否かを判定し、
      前記列車が存在するか否かによって、前記画像の解析対象領域を変更する、
     請求項27から31のいずれか1項に記載のプログラム。
  33.  前記画像解析手段は、前記プラットホームに列車が存在する場合、前記プラットホームに列車が存在している場合よりも前記解析対象領域を狭くする、
     請求項32に記載のプログラム。
  34.  前記画像解析手段は、前記プラットホームに列車が存在していない場合と、前記プラットホームに列車が存在している場合とで、前記注意事象として検出する事象の種類を変更する、
     請求項32または33に記載のプログラム。
  35.  前記表示処理手段は、前記プラットホームに列車が存在するか否かについての判定結果に基づいて、前記画像処理後の画像の送信先を変更する、
     請求項32から34のいずれか1項に記載のプログラム。
  36.  前記画像解析手段は、列車の存在を検知する外部装置からの信号を用いて、前記プラットホームに列車が存在するか否かを判定する、
     請求項32から35のいずれか1項に記載のプログラム。
  37.  前記プラットホームに設けられた複数のホームドアの開閉状態を制御するホームドア制御手段を更に備え、
     前記ホームドア制御手段は、前記画像解析手段による前記注意事象の検出結果に応じて、前記複数のホームドアを一括制御する第1の制御モードと、前記複数のホームドアの各々を個別に制御する第2の制御モードとを切り替える、
     請求項27から36のいずれか1項に記載のプログラム。
  38.  前記画像解析手段は、
      前記プラットホームに設けられた複数の撮像装置の各々から画像を取得し、
      前記複数の撮像装置から取得された複数の画像それぞれについて、画像に写っている人物の数を算出し、
      前記複数の画像それぞれについて算出された人物の数に基づいて優先度を決定し、
     前記表示処理手段は、
      決定された前記優先度に基づいて、前記ディスプレイに表示させる画像を前記複数の画像の中から選択する、
     請求項27から37のいずれか1項に記載のプログラム。
  39.  前記表示処理手段は、
      前記ディスプレイに表示させる画像が前記優先度に基づいて選択されるまで、前記複数の撮像装置の中で特定撮像装置として予め定められた撮像装置から取得された画像を、前記ディスプレイに表示させる画像として選択する、
     請求項38に記載のプログラム。
PCT/JP2021/048532 2021-02-19 2021-12-27 サーバ装置、画像処理方法およびプログラム WO2022176402A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023500596A JPWO2022176402A1 (ja) 2021-02-19 2021-12-27

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-024954 2021-02-19
JP2021024954 2021-02-19

Publications (1)

Publication Number Publication Date
WO2022176402A1 true WO2022176402A1 (ja) 2022-08-25

Family

ID=82930700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048532 WO2022176402A1 (ja) 2021-02-19 2021-12-27 サーバ装置、画像処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2022176402A1 (ja)
WO (1) WO2022176402A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11152034A (ja) * 1997-11-20 1999-06-08 Fujitsu General Ltd 列車監視システム
WO2011104983A1 (ja) * 2010-02-26 2011-09-01 日本電気株式会社 監視状況表示装置、監視状況表示方法および監視状況表示プログラム
JP2011240846A (ja) * 2010-05-19 2011-12-01 Hitachi Kokusai Electric Inc 監視システムの監視装置
JP2014040221A (ja) * 2012-08-23 2014-03-06 Hitachi Building Systems Co Ltd 映像監視システム
JP2014148300A (ja) * 2013-01-09 2014-08-21 Use Co Ltd 監視装置、方法、プログラム、又はシステム
JP2018082281A (ja) * 2016-11-15 2018-05-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
WO2018180311A1 (ja) * 2017-03-28 2018-10-04 株式会社日立国際電気 監視システム及び監視方法
WO2019102935A1 (ja) * 2017-11-21 2019-05-31 シャープ株式会社 表示装置、撮像表示システム、および、列車

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11152034A (ja) * 1997-11-20 1999-06-08 Fujitsu General Ltd 列車監視システム
WO2011104983A1 (ja) * 2010-02-26 2011-09-01 日本電気株式会社 監視状況表示装置、監視状況表示方法および監視状況表示プログラム
JP2011240846A (ja) * 2010-05-19 2011-12-01 Hitachi Kokusai Electric Inc 監視システムの監視装置
JP2014040221A (ja) * 2012-08-23 2014-03-06 Hitachi Building Systems Co Ltd 映像監視システム
JP2014148300A (ja) * 2013-01-09 2014-08-21 Use Co Ltd 監視装置、方法、プログラム、又はシステム
JP2018082281A (ja) * 2016-11-15 2018-05-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
WO2018180311A1 (ja) * 2017-03-28 2018-10-04 株式会社日立国際電気 監視システム及び監視方法
WO2019102935A1 (ja) * 2017-11-21 2019-05-31 シャープ株式会社 表示装置、撮像表示システム、および、列車

Also Published As

Publication number Publication date
JPWO2022176402A1 (ja) 2022-08-25

Similar Documents

Publication Publication Date Title
US20200175838A1 (en) Eyeglasses-type wearable terminal, control method thereof, and control program
US11270562B2 (en) Video surveillance system and video surveillance method
JP2007243342A (ja) 画像監視装置及び画像監視システム
US11776274B2 (en) Information processing apparatus, control method, and program
JP2013025523A (ja) 監視システム、および、混雑率算出方法
CN104243907A (zh) 用于动态跟踪的视频加标签
KR100916960B1 (ko) 승강장 모니터링 시스템
JP7459916B2 (ja) 物体追跡方法、物体追跡装置、及びプログラム
JP6483214B1 (ja) エレベータシステム及びエレベータの迷子検出方法
JP2009194711A (ja) 領域利用者管理システムおよびその管理方法
WO2022176402A1 (ja) サーバ装置、画像処理方法およびプログラム
KR102246925B1 (ko) 통합 버스 정보 및 질병 관리 시스템과 방법
KR101407952B1 (ko) 엘리베이터 방범시스템 및 방법
KR101509223B1 (ko) 모니터링 자동 포착기능이 구비된 보안 시스템 및 그 보안 처리방법
CN113615166A (zh) 事故检测装置及事故检测方法
JP2021026456A (ja) 業務支援システム
KR101167605B1 (ko) 카메라를 구비한 지능형 다기능 제어 장치 및 방법
CN113643508B (zh) 防灾紧急通道监控方法、系统、设备及存储介质
WO2021111654A1 (ja) 処理装置、処理方法及びプログラム
WO2023095196A1 (ja) 乗客監視装置、乗客監視方法、及び非一時的なコンピュータ可読媒体
KR101961800B1 (ko) 드론을 이용한 사고 대응 시스템
JP7062879B2 (ja) 表示制御装置及び表示制御方法
CN115801998A (zh) 用于监控人员运送设备的行驶运行的方法和监控系统
WO2023209782A1 (ja) 監視装置、監視方法、および記録媒体
CN214309133U (zh) 测温安检系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21926825

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023500596

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21926825

Country of ref document: EP

Kind code of ref document: A1