WO2018180311A1 - 監視システム及び監視方法 - Google Patents

監視システム及び監視方法 Download PDF

Info

Publication number
WO2018180311A1
WO2018180311A1 PCT/JP2018/008791 JP2018008791W WO2018180311A1 WO 2018180311 A1 WO2018180311 A1 WO 2018180311A1 JP 2018008791 W JP2018008791 W JP 2018008791W WO 2018180311 A1 WO2018180311 A1 WO 2018180311A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring
image
difference
door
vehicle
Prior art date
Application number
PCT/JP2018/008791
Other languages
English (en)
French (fr)
Inventor
加奈 大木
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to EP18774806.6A priority Critical patent/EP3606053B1/en
Priority to JP2019509122A priority patent/JP6845307B2/ja
Priority to US16/493,371 priority patent/US10864927B2/en
Publication of WO2018180311A1 publication Critical patent/WO2018180311A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/0081—On-board diagnosis or maintenance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61K—AUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K13/00—Other auxiliaries or accessories for railways
    • B61K13/04—Passenger-warning devices attached to vehicles; Safety devices for preventing accidents to passengers when entering or leaving vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61B—RAILWAY SYSTEMS; EQUIPMENT THEREFOR NOT OTHERWISE PROVIDED FOR
    • B61B1/00—General arrangement of stations, platforms, or sidings; Railway networks; Rail vehicle marshalling systems
    • B61B1/02—General arrangement of stations and platforms including protection devices for the passengers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/186—Video door telephones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection

Definitions

  • the present invention relates to a monitoring system and a monitoring method, for example, a monitoring system and a monitoring method for a door of a railway vehicle.
  • a system using a monitoring camera is known from the viewpoint of ensuring the platform of a station (hereinafter referred to as “home”) and the safety inside and outside the vehicle (see, for example, Patent Documents 1 and 2).
  • home the platform of a station
  • Patent Documents 1 and 2 the safety inside and outside the vehicle.
  • the railway monitoring system checks whether there is any abnormality in the vehicle door such as a person or a foreign object when the vehicle is stopped and the vehicle door is opened or closed. Intrusion detection technology is required.
  • the detection of the vehicle door pinching by the physical sensor mainly used at present has a size limit on the detection target. That is, it may not be possible to detect a thin or thin object.
  • the present invention has been made in view of such a situation, and aims to solve the above problems.
  • the present invention is a monitoring system comprising a monitoring camera for photographing a train door and a control device for detecting pinching of the door based on an image of the monitoring camera, wherein the control device opens the door. From the difference image between the reference image taken by the surveillance camera and the observation image taken by the surveillance camera after a predetermined time has passed since the reference image was taken, It is determined that the door is pinched.
  • the monitoring camera captures the plurality of observation images after capturing the reference image, and the control device acquires a difference image between the reference image and each observation image, and centers the plurality of difference images. If the movement of the center coordinate is obtained from the coordinates and it is determined that the center coordinate is not moving, it may be determined that the door is caught.
  • the present invention relates to a monitoring method for detecting pinching of the door based on an image of a monitoring camera that images a train door, and the monitoring camera when the door changes from an open state to a closed state.
  • a pinching determination step for determining that the occurrence of the occurrence of the pinch. In the pinching determination step, the movement of the central coordinate of the difference calculated in the difference calculation step is obtained, and when it is determined that the central coordinate is not moving, it is determined that the door is pinched Good.
  • pinching detection using image processing determination of a monitoring video is used in place of or in combination with detection by a physical sensor, thereby performing more accurate pinching detection regardless of the type of the pinching object. Can do.
  • a crew member in addition to a pinch detection method using a physical sensor or image processing determination of a monitoring video, a crew member can check the status of the home with a video from a monitoring monitor installed in the cabin.
  • FIG. 6 is a diagram illustrating an example of display on a monitor of videos of first to fourth monitoring cameras according to an embodiment. It is the figure which showed the example which unified the monitoring direction about the display on the monitor of the image
  • Image processing is performed based on the video of the monitoring camera that monitors the vehicle door, and it is distinguished whether an object near the vehicle door is just passing nearby or is caught in the vehicle door.
  • the video of the monitoring camera is assigned to the monitoring monitor installed in the cabin at a predetermined timing such as when the train stops at the platform and the door opens.
  • pinch detection is performed by image processing. When pinch occurs, the relevant image on the monitor monitor is displayed in a display mode that easily draws attention, for example, surrounded by a red frame, and further an alarm sound Perform processing such as ringing.
  • the availability and reliability of the monitoring system are improved by using image processing determination of the monitoring video instead of or in combination with a physical sensor.
  • the crew can check the situation by viewing the image of the vehicle door, and the convenience of the monitoring system is improved.
  • the monitoring image of the vehicle door is assigned to the monitoring monitor, if a pinch is detected, the corresponding image on the monitoring monitor is displayed in a display mode that attracts attention, and an alarm sound is generated. Increases work efficiency, ease of monitoring, and reliability by calling attention.
  • FIG. 1 is a railway surveillance camera system 100 mounted on a train of trains, and schematically shows an outline of an arrangement example of the surveillance camera system 100 that monitors the vicinity of the entrance / exit (vehicle door) from within the train.
  • FIG. 1A shows an outline of the arrangement of a four-car train of the first to fourth vehicles 1 to 4 and various on-board equipment.
  • FIG. 1B focuses on one vehicle 40 and shows the relationship between the first to fourth monitoring cameras 11 and the first to fourth vehicle doors 71 to 74 whose photographing is the object.
  • FIG. 2 is a block diagram for explaining an embodiment of the configuration of the surveillance camera system 100.
  • FIG. 1 is a diagram for explaining mainly the mounting and arrangement of the monitoring camera system 100 on a train
  • FIG. 2 is a diagram for explaining the connection of each device constituting the monitoring camera system 100. 2 indicate the first to fourth vehicles 1 to 4 in FIG. 1A, and all the devices constituting the surveillance camera system 100 are connected by a network cable if they are wired, for example. Has been.
  • a train is a four-car train composed of a first first vehicle 1, an intermediate second vehicle 2, a third vehicle 3, and a last fourth vehicle 4,
  • a surveillance camera system 100 is mounted on a vehicle in a train.
  • the traveling direction of the train will be described as a direction of traveling with the first vehicle 1 as the leading vehicle.
  • Each vehicle (first to fourth vehicles 1 to 4) is a vehicle with four doors on one side (eight doors on both sides).
  • a first vehicle door 71, a second vehicle door 72, a third vehicle door 73, and a fourth vehicle door 74 are provided on one side (for example, the left side in the traveling direction) of each vehicle from the traveling direction side.
  • a first vehicle door 71, a second vehicle door 72, a third vehicle door 73, and a fourth vehicle door 74 are also provided on the other side (for example, the right side in the traveling direction) from the traveling direction side.
  • Passengers get in and out of the vehicle from either the left or right door that opens to the platform 99 of the station, or from the doors on both sides.
  • 1st to 4th surveillance cameras 11 to 14 are attached to the 1st to 4th vehicle doors 71 to 74 for monitoring getting on and off, respectively.
  • the first to fourth monitoring cameras 11 to 14 are, for example, IP cameras, and are attached to predetermined positions on the outer side (side surface) of the vehicle.
  • FIG. 1 shows only the left door and the monitoring camera related to the left door of the entrance doors on the left and right of the vehicle, and shows the opposite (right) door and the monitoring camera related to the door. Not shown. Other configurations than the surveillance camera are the same regardless of the left and right doors.
  • the first first vehicle 1 is provided with a monitor PC 140 for monitoring, and the last fourth vehicle 4 is also provided with a monitor PC 142 for monitoring.
  • Each of the monitor PCs 140 and 142 may be composed of a plurality.
  • the driver can check the images captured by all the first to fourth monitoring cameras 11 to 14 with the monitor PCs 140 and 142.
  • the displayed video may be displayed, for example, in a display area divided into a plurality of parts for the monitoring camera of one vehicle, and sequentially switched to the video of the monitoring camera of another vehicle.
  • FIG. 2 shows only the monitoring camera related to the left door and the door on one side of the doors for getting on and off on the left and right of the vehicle, as in FIG. 1, and shows the monitoring camera related to the opposite door and the door. Not shown. Other configurations are common regardless of the left and right doors.
  • the monitoring system 100 is installed in a train connecting the first to fourth vehicles 1 to 4 as shown in FIG. 1 or FIG.
  • the surveillance camera system 100 includes first to fourth surveillance cameras 11 to 14, monitor PCs 140 and 142, L2-SW (layer 2 switches) 144 to 147, a server 50 (control device), a recording device 51, a host server 52, an alarm Device 53 and an emergency stop device 55.
  • a power supply cable (not shown) supplies power to each device from a power supply unit (not shown) of the first to fourth vehicles 1 to 4.
  • the first vehicle 1 includes a server 50, a recording device 51, a host server 52, an alarm device 53, an emergency stop device 55, first to fourth monitoring cameras 11 to 14 (11a to 14a and 11b to 14b), a monitor.
  • PCs 140, 1421 and L2-SW 144 are installed.
  • the server 50, the recording device 51, the monitor PCs 140 and 142, the alarm device 53, the emergency stop device 55, and the first to fourth monitoring cameras 11 to 14 are connected to the L2-SW 144, and the upper server 52 is connected to the server 50.
  • the L2-SW 144 is connected to the L2-SW 145 installed in the second vehicle 2 later.
  • the fourth vehicle 4 at the tail is provided with first to fourth surveillance cameras 11 to 14 (11a to 14a and 11b to 14b), a monitor PC 142, an alarm device 53, an emergency stop device 55, and an L2-SW 147. .
  • the first to fourth monitoring cameras 11 to 14, the alarm device 53, the emergency stop device 55, and the monitor PC 142 are connected to the L2-SW 147, respectively.
  • the L2-SW 147 is connected to the L2-SW 146 installed in the previous third vehicle 3.
  • the upper server 52 is, for example, a device that manages train operation, and is, for example, a TMS (Train Management System).
  • the host server 52 outputs train operation information to the server 50 at a predetermined cycle during train operation.
  • Train operation information includes at least train speed information, entrance / exit door opening / closing information (information on whether the entrance door is open or closed), and the entrance / exit at the platform of the next stop or currently stopped station (For example, information on whether the left door is an entrance / exit or the right door is an entrance / exit), and the number of vehicles.
  • the intermediate second vehicle 2 is provided with first to fourth surveillance cameras 11 to 14 (11a to 14a and 11b to 14b) and L2-SW 145.
  • the L2-SW 145 is connected to the L2-SW 144 installed in the front first vehicle 1 and the L2-SW 146 installed in the rear third vehicle 3 through network cables.
  • the third vehicle 3 is provided with the first to fourth monitoring cameras 11 to 14 (11a to 14a and 11b to 14b) and the L2-SW 146.
  • the L2-SW 146 The L2-SW 145 installed in the front second vehicle 2 and the L2-SW 147 installed in the rear fourth vehicle 4 are connected by network cables.
  • first first vehicle 1 and the intermediate second vehicle 2, the intermediate second vehicle 2 and the third vehicle 3, and the intermediate third vehicle 3 and the last fourth vehicle 4 are adjacent to each other.
  • L2-SWs mounted on the vehicle By connecting the L2-SWs mounted on the vehicle with a network cable or the like, one network is constructed in the train.
  • a driver can board the first first vehicle 1 and operate a train (driving, opening / closing of the entrance / exit, etc.) by one person. it can.
  • the driver or the like can operate the emergency stop device 55 to stop the train urgently. Further, an alarm or the like indicating an emergency is output from the alarm device 53.
  • All the first to fourth surveillance cameras 11 to 14 respectively capture images within a predetermined field of view at a predetermined imaging frame rate.
  • the first to fourth surveillance cameras 11 to 14 compress the captured video (live video) in a format such as H.264 / MPEG4 / JPEG, and the recording device 51 via the L2-SW and the network cable. And transmitted to the monitor PCs 140 and 142.
  • the recording device 51 always records the input video in association with the captured surveillance camera and the imaging time.
  • the monitor PCs 140 and 142 display the live video and recorded video of all the first to fourth monitoring cameras 11 to 14 on the screen by performing video processing such as expansion and cut-out according to instructions from the server 50.
  • the recorded video is mainly used as analysis data and evidence video in the event of an emergency such as an accident or crime.
  • the main settings of the server 50, the monitor PCs 140 and 142, the first to fourth surveillance cameras 11 to 14 (11a to 14a and 11b to 14b), and the recording device 51 are set in advance by the operator at the start of system operation. .
  • the first to fourth monitoring cameras 11 to 14 transmit images to the recording device 51 and the monitor PCs 140 and 142 at a predetermined transmission frame rate.
  • the first to fourth monitoring cameras 11 to 14 may be connected to the recording device 51 and the monitor PC 140, according to a transmission request transmitted from the monitor PCs 140 and 142 via the L2-SW. 142 transmits the video at a predetermined transmission frame rate.
  • the monitoring cameras automatically transmit the images of the first to fourth monitoring cameras 11 to 14 (11a to 14a and 11b to 14b) at a predetermined frame rate, or according to the transmission requests from the monitor PCs 140 and 142.
  • the operator can set in advance at the start of system operation, or can be switched by operating the server 50 by the driver.
  • the server 50 can control the angle of view and the shooting direction of the first to fourth monitoring cameras 11 to 14 (11a to 14a and 11b to 14b).
  • the server 50 performs image processing on the acquired video and determines whether or not a warning reason has occurred in the monitoring target area.
  • the reason for the warning is assumed to be a state in which any object (such as a person's arm, bag, umbrella, or stroller wheel) is caught between the first to fourth vehicle doors 71 to 74.
  • the determination of the reason for the warning may be performed using detection results of physical sensors (infrared sensors or pressure sensors) provided in the first to fourth vehicle doors 71 to 74 in addition to image processing. By using these together, the detection accuracy increases.
  • the first monitoring camera 11 is attached to the front upper side of the first vehicle door 71, and the rear lower side is set in the imaging direction.
  • the second surveillance camera 12 is attached to the upper rear side of the second vehicle door 72, and the lower front side is set in the imaging direction.
  • the third surveillance camera 13 is attached to the upper front side of the third vehicle door 73, and the lower rear side is set in the imaging direction.
  • the fourth surveillance camera 14 is attached to the upper rear side of the fourth vehicle door 74, and the lower front side is set in the imaging direction.
  • the first to fourth surveillance cameras 11 to 14 monitor the first to fourth vehicle doors 71 to 74, respectively, and the first vehicle door 71 and the second vehicle door 72, and the third vehicle door 73 and the fourth vehicle door 72, respectively.
  • the vehicle door 74 is a pair that is a pair.
  • FIG. 3 shows an example in which the images of the first to fourth vehicle doors 71 to 74 are assigned to the four-divided display on the monitor 80.
  • FIG. 3A shows an example in which the image orientation (monitoring direction) is not adjusted
  • FIG. 3B shows an example in which the image orientation is unified for all cameras.
  • Video assignment to the monitor 80 is performed from when the vehicle doors (first to fourth vehicle doors 71 to 74) are opened until all the vehicle doors are normally closed without being pinched.
  • one monitor 80 has the maximum for one vehicle, that is, four images.
  • a page feed function may be added to the monitor monitor screen to display images for a plurality of vehicles. Good.
  • the monitor 80 may cut out the minimum necessary video range and display 8 or more videos for 2 vehicles on one monitoring monitor screen.
  • the upper stage 85 is a monitoring image of the first vehicle 1
  • the lower stage 86 is a monitoring image of the second vehicle 2.
  • the pinching determination process when the vehicle doors (first to fourth vehicle doors 71 to 74) are closed will be described.
  • the crew member 98 closes the vehicle doors (first to fourth vehicle doors 71 to 74).
  • the server 50 also receives an instruction to close the vehicle doors (first to fourth vehicle doors 71 to 74), and the monitoring video of the vehicle doors (first to fourth vehicle doors 71 to 74) at regular intervals is stopped. Start image acquisition.
  • FIG. 5 is a diagram illustrating a difference acquisition procedure during the pinching determination process.
  • monitoring cameras second to fourth monitoring cameras 12 to 14
  • the server 50 stores a still image (hereinafter referred to as “reference image 91”) of the first monitoring camera 11 that reflects the normally closed first vehicle door 71 that is not sandwiched in advance.
  • An image captured during the pinching determination process is referred to as an “observation image 92”.
  • the difference (difference image 94) is obtained by superimposing the observation image 92 of the first vehicle door 71 first acquired after the first vehicle door 71 is closed and the reference image 91, and the difference is obtained. If not, it is determined that there is “no pinching”.
  • a general technique can be used for the image processing for acquiring the difference.
  • FIG. 6 is a diagram showing an observation procedure for motion detection of the difference during the pinching determination process. At this time, if the difference can be acquired by the procedure of FIG. 5, the normal still image and the still image of the first vehicle door 71 acquired periodically are compared in order, and the object captured as the difference is described above. Observe movement.
  • the reference image 91 and the observation image 92 of the first vehicle door 71 acquired periodically are sequentially compared, and the outer frame of each acquired difference (difference image 94) is surrounded by a rectangle F to obtain the center coordinate C.
  • the center coordinate of the first difference image 94 is “C1”, sequentially “C2”, “C3”..., “Cn”, and “C” when not distinguished.
  • the difference of the subsequent center coordinates C2, C3,... “Cn” with respect to the center coordinate C1 of the difference image 94 obtained first is obtained, and when the difference exceeds a certain threshold, the object captured as the difference Is not sandwiched between vehicle doors, but is a moving object (for example, a pedestrian or the like), and is determined to be “no jamming”.
  • FIG. 7 is a display example of a monitoring video when it is determined that “there is pinching”.
  • the monitor 80 is assigned and displayed a monitoring image of the vehicle door (first to fourth vehicle doors 71 to 74) from the time when the vehicle door (first to fourth vehicle doors 71 to 74) is opened after the station stops. Has been.
  • the highlighted display mode is easy to draw attention, such as by enclosing with a red frame F100 or the like, brightly displaying, or blinking the frame as shown in FIG. Is displayed.
  • the ease of drawing attention may be strengthened over time.
  • the server 50 sounds an alarm sound with the alarm device 53 when one or more pinching occurs.
  • processing such as increasing the alarm sound may be performed as time passes from the recognition time.
  • FIG. 8 shows a display example of the monitor 80 that displays the pinch determination release operation.
  • a cross input button B12 for performing a touch operation (or operation from an external input interface or the like), a release button B11, and the like are prepared.
  • the crew member 98 cancels the pinching determination state by selecting the video with the pinching eliminated by using the cross input button B12 and pressing the cancel button B11.
  • the blue frame F101 is drawn for the selected video, and the red frame F100 is deleted for the released video.
  • the train waits for a train start instruction (train departure permission), and after the start of the travel, all display images on the monitor monitor are terminated. Also, when the number of pinching becomes zero, the alarm sound is stopped.
  • FIG. 9 is a sequence diagram focusing on the crew member 98, the server 50, the monitor 80, and the monitoring cameras (first to fourth monitoring cameras 11 to 14) regarding the processing from the stop of the station to the start of monitoring by opening the vehicle door.
  • FIG. 10 is a sequence diagram when the vehicle door is closed.
  • FIG. 11 is a sequence diagram of the pinching determination release process.
  • FIG. 12 is a flowchart showing an outline from a station stop to a departure by the monitoring camera system 100.
  • the sequence in FIG. 9 corresponds to S11 to S13 in the flowchart in FIG. 12, the sequence in FIG. 10 corresponds to S14 to S22 in the flowchart in FIG. 12, and the sequence in FIG. 11 corresponds to S22 and S23 in the flowchart in FIG. .
  • the server 50 monitors whether the train stops at the station and the door is opened (S11). When the door is not opened (N in S11), the video display is stopped (S12) and the stop monitoring is continued. (S11). When it is detected that the train has stopped at the station and the vehicle doors (first to fourth vehicle doors 71 to 74) are opened (Y in S11), the server 50 monitors the monitoring images of the first to fourth monitoring cameras 11 to 14. Are sequentially displayed on the monitor 80 set in the crew room or the like (S13).
  • the server 50 performs the pinching determination (S15 to).
  • the server 50 sets the frame (frame) for displaying the video to red when there is pinching (Y in S18), and sets the frame to be empty when there is no pinching (S18N) (S20). ).
  • the server 50 determines whether or not the sandwiching determination has been performed for all the monitoring cameras (first to fourth monitoring cameras 11 to 14) by checking whether or not the variable N exceeds a predetermined number (J) (S21). ). If the pinching determination remains (N in S21), the process returns to S16.
  • a difference determination process for the center coordinate C is performed (S103). That is, the difference between the acquired still image (observed image 92) and the reference image 91 is acquired this time. Next, a quadrangle F that covers the four sides of the object that is the difference is drawn, and the center point is obtained as the center coordinate C.
  • the server 50 compares the center coordinate C with a value set in advance as a threshold value. If the value is below the threshold value, the server 50 determines that pinching has occurred as a process of S104, and instructs the monitor 80 to draw a red frame for the video. Set up a pinch occurrence flag for the surveillance camera that shows the video, and increment the total pinch occurrence number.
  • an alarm ringing process is performed (S105). If the alarm ringing flag is not set when incrementing the number of occurrences of pinching, the alarm ringing start instruction and the alarm ringing flag increment are also executed.
  • the threshold check of the still image difference is not performed for the number of still images, and if the threshold is exceeded, the process proceeds to the next surveillance camera still image threshold check. The above is performed until the threshold value check is completed for the still images of all the monitoring cameras.
  • the server 50 determines whether the pinching determination has been released by operating the release button B11 as shown in the display example of the monitor 80 in FIG. S23). When the pinching determination is released by the operation of the release button B11, the server 50 determines again whether or not the pinching occurrence number is 1 or more (S22).
  • the server 50 determines that the number of trapped cases has become 0, that is, determines that the trapped state has been resolved (N in S22), it sets the train departure permission state (S24). Thereafter, the train starts to run by the operation of the crew 98, but the display of the images of the first to fourth monitoring cameras 11 to 14 on the monitor 80 is, for example, when the train speed is equal to or higher than a predetermined value (for example, (E.g., 3 km / h or more). In addition, when the pinching determination process is continued after starting the train travel, if pinching is detected, the server 50 may instruct the emergency stop device 55 to stop the train.
  • a predetermined value for example, (E.g., 3 km / h or more.
  • the crew member 98 When the crew member 98 receives a notification that the vehicle door has been closed, the crew member 98 first waits for completion of the pinching determination process (S201). After the completion, if there is no occurrence of pinching, the crew waits for the traveling instruction as it is, and when the traveling is started, the video display on the monitor 80 is all finished (S202).
  • the server 50 instructs the monitor 80 to delete the red frame drawing of the corresponding video, delete the pinch occurrence flag of the surveillance camera that shows the video, and decrement the number of pinch occurrences (S205). If the number of pinching occurrences is still one or more, the above process is repeated until the number of pinching occurrences becomes zero.
  • the following effects can be obtained.
  • the following functions may be added or changed in accordance with the processing of the above-described embodiment.
  • the vibration measuring device is attached to the monitoring camera system 100 and the train starts running with something in between, it can be assumed that excessive vibration occurs from the start of normal running. The detection accuracy is improved by using it together with the pinching detection using the vibration information.
  • the noise measuring device is attached to the monitoring camera system 100, it can be assumed that when the train starts running with something in between, noise is excessively generated from the start of normal running. The detection accuracy is improved by using it together with the pinching detection using the noise information.
  • the crew member 98 confirms the situation ⁇ deletes the red frame with the delete button after confirmation ⁇ continues to display the video until the number of pinching becomes zero.
  • the delete button By pressing the delete button, the display of the selected video itself is terminated. Alternatively, “when all the video images are displayed, the crew can start traveling.” When the selected video is deleted and the display is finished, the remaining video is packed and displayed to improve operability.

Abstract

列車ドアの監視において、車両ドアにおける挟み込み検知の精度を向上させる技術を提供する。サーバは、予めサーバ内で所有している各監視カメラの車両ドアに何も挟み込んでいない正常な状態の静止画（基準画像９１）と、所定の取得時間で最初に取得した静止画（観測画像９２）との差分比較を行う。差分がある場合、取得時間内において取得した観測画像９２と基準画像９１との差分（差分画像９４）を取得する。次にその差分となる物体の四辺を覆う四角形Ｆを描画し、その中心点を求めて中心座標Ｃ１、Ｃ２、・・・Ｃｎの動き、すなわち中心座標Ｃの差分が所定の閾値を下回った場合、挟み込みが発生していると判断し、モニタへ該当映像の赤枠描画を指示する。

Description

監視システム及び監視方法
　本発明は、監視システム及び監視方法に係り、例えば、鉄道の車両のドアの監視システム及び監視方法に関する。
　鉄道監視において、駅のプラットホーム（以下、「ホーム」という）や車両内外の安全性確保の観点で、監視カメラを用いたシステムが知られている（例えば特許文献１及び２参照）。また、近年、鉄道監視システムでは車両内外やホームの監視に加えて、ホームに停車し車両ドアを開閉する際に、人や異物の挟み込みなど車両ドアに異常がないかどうか確認を行う車両ドア挟込検知技術が求められている。
　挟み込み検知の主な方式として、車両ドアに人や物を挟み込んだ場合、圧力や赤外線などを利用した物理的なセンサを用いて検知する手法が主に利用されていた。
　しかし最近では、ベビーカーの前輪部のように薄い部品などが挟まった際に、物理的なセンサでは検知出来ない場合があり、そのまま列車が走りだしてしまう事例が発生している。このため、物理的なセンサの代わり或いは併用で、監視映像の画像処理判定を用いた挟み込み検知技術への要望が高まっている。
　また、正常に挟み込み検知されず人や物が挟み込まれた状態で電車が走り出した場合、それを確認したホーム側の人間が緊急停止ボタンを押すことで、通知を受けた乗務員が電車の緊急停止操作を行う。これに関して、緊急停止ボタンが押されたにも関わらず、乗務経験の浅い乗務員が対応の優先順位を誤り、電車の走行を続けるおそれもある。
特許開２０１４－１８４８０３号公報 特許第５７４８４６８号公報
　ところで、前述の通り、現在主に利用される物理的なセンサによる車両ドアの挟み込み検知は、検知対象に大きさの制限がある。すなわち、薄かったり細かったりするものに対して、検知できない可能性がある。また、挟み込み検知の誤検知（未検知）が有り、一度走行を始めてしまった列車に関しては、乗務員が停車措置を行うが、これについても人為的なミスが起こりうる可能性がある。これら観点から、監視カメラで監視し画像処理判定を用いて車両ドア付近の安全確認を行うことができる技術が求められていた。
　本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
　本発明は、列車のドアを撮影する監視カメラと、前記監視カメラの映像をもとに前記ドアの挟み込み検知を行う制御装置とを備える監視システムであって、前記制御装置は、前記ドアが開いた状態から閉じた状態になったときに、前記監視カメラが撮影した基準画像と、前記基準画像を撮影してから所定時間が経過後、前記監視カメラが撮影した観測画像と、の差分画像から前記ドアに挟み込みが発生していると判断する。
　前記監視カメラは、前記基準画像を撮影後、複数の前記観測画像を撮影し、前記制御装置は、前記基準画像と、各観測画像と、の差分画像を取得し、複数の前記差分画像の中心座標から前記中心座標の動きを求め、前記中心座標が動いていないと判断した場合に、前記ドアに挟み込みが発生していると判断してもよい。
　本発明は、列車のドアを撮影する監視カメラの映像をもとに前記ドアの挟み込み検知を行う監視方法であって、前記ドアが開いた状態から閉じた状態になったときに、前記監視カメラが撮影した基準画像と、前記基準画像を撮影してから所定時間が経過後、前記監視カメラが撮影した観測画像と、の差分を算出する差分算出工程と、前記差分に基づいて前記ドアに挟み込みが発生していると判断する挟み込み判定工程とを備える。
　前記挟み込み判定工程は、前記差分算出工程で算出した前記差分の中心座標の動きを求め、前記中心座標が動いていないと判断した場合に、前記ドアに挟み込みが発生していると判断してもよい。
　本発明によると、監視映像の画像処理判定を用いた挟み込み検知を、物理的なセンサによる検知の代わり或いは併用で利用することで、挟み込む物の種類に関わらない、より正確な挟み込み検知を行うことができる。また、別の観点では、物理的なセンサや監視映像の画像処理判定を用いた挟み込み検知方法に加えて、乗務員がホームの状況を乗務室内に取り付けられている監視用モニタから映像で確認できるようにし、挟み込みを検知した際にアラームを鳴動させるなど乗務員の注意を促すことで、より容易で信頼性のある監視を実現する技術を提供できる。
実施形態に係る、列車の監視カメラシステムの配置例の概要を模式的に示す図である。 実施形態に係る、監視カメラシステムを構成する各機器の接続を中心として説明するための図である。 実施形態に係る、第１～第４監視カメラの映像のモニタへの表示例を示した図である。 実施形態に係る、二つの車両の各第１～第４監視カメラの映像のモニタへの表示を監視方向を統一させた例を示した図である。 実施形態に係る、挟み込み判定処理時の差分取得手順を示す図である。 実施形態に係る、挟み込み判定処理時の差分の動き検出の観測手順を示す図である。 実施形態に係る、「挟み込み有り」と判断した場合の監視映像の表示例を示す図である。 実施形態に係る、挟み込み判定解除操作を可能に表示するモニタの表示例を示す図である。 実施形態に係る、駅停車後、車両ドア開による監視開始までの処理を示すシーケンス図である。 実施形態に係る、車両ドアを閉めた際の挟み込み判定の処理を含むシーケンス図である。 実施形態に係る、挟み込み判定解除処理のシーケンス図である。 実施形態に係る、挟み込み判定処理のフローチャートである。
　次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。本実施形態の概要は次の通りである。（１）車両ドアを監視する監視カメラの映像を元に画像処理を行い、車両ドア付近にある物体が近くを通過しているだけなのか或いは車両ドアに挟み込まれているのか区別する。（２）監視カメラの映像は、電車がホームに停車しドアが開いた時点などの所定のタイミングで、乗務室内に取り付けられている監視用モニタに対し割り付ける。（３）車両ドアが閉められた時点で画像処理による挟み込み検知を行い、挟み込みが発生した場合監視モニタの該当映像を、注目を引きやすい表示態様、例えば赤色枠で囲んで表示し、更にアラーム音を鳴動させるなどの処理を行う。
　これらによって、次の効果が得られる。（１）車両ドアの挟みこみ検知において、物理的なセンサの代わり或いは併用で、監視映像の画像処理判定を用いることで、監視システムの可用性、信頼性が向上する。（２）車両ドアの監視映像を監視モニタに自動で割り付けることで、乗務員自身が車両ドアの映像を見て状況を確認することができ、監視システムの利便性が向上する。（３）車両ドアの監視映像を監視モニタに割り付けている際に、挟み込みを検知した場合、監視モニタの該当映像を注目を引きやすい表示態様で表示され、アラーム音を鳴動させることで、乗務員の注意を促し作業効率、監視の容易性、信頼性が向上する。
　図１は、１編成の列車に搭載した鉄道向け監視カメラシステム１００であり、列車内から乗降口（車両ドア）付近を監視する監視カメラシステム１００の配置例の概要を模式的に示す。図１（ａ）は第１～第４車両１～４の４両編成の列車と各種の搭載機器の配置概要を示している。図１（ｂ）は、一つの車両４０に着目し、第１～第４監視カメラ１１とその撮影は対象である第１～第４車両ドア７１～７４の関係を示している。
　また、図２は、監視カメラシステム１００の構成の一実施例を説明するためのブロック図である。なお、図１は監視カメラシステム１００の列車への搭載及び配置を中心として、図２は監視カメラシステム１００を構成する各機器の接続を中心として説明するための図である。図２の破線の枠は、図１（ａ）の第１～第４車両１～４を示しており、監視カメラシステム１００を構成する全ての機器は、例えば有線接続であればネットワークケーブルで接続されている。
　図１（ａ）に示すように、列車は、先頭の第１車両１、中間の第２車両２及び第３車両３、最後尾の第４車両４の４両編成であって、鉄道向けの監視カメラシステム１００が列車内の車両に搭載されている。このとき列車の進行方向は、第１車両１を先頭車両として進む方向として説明する。
　各車両（第１～第４車両１～４）は、片側４ドア（両側で８ドア）の車両である。各車両の一方の側（例えば進行方向の左側）において、進行方向側から第１車両ドア７１、第２車両ドア７２、第３車両ドア７３及び第４車両ドア７４を備える。他方の側（例えば進行方向の右側）にも、進行方向側から第１車両ドア７１、第２車両ドア７２、第３車両ドア７３及び第４車両ドア７４を備える。
　乗客は、駅のホーム９９に合わせて開く左側若しくは右側のどちらか片側の扉から、または両側の扉から、車両への乗り降りを行う。
　第１～第４車両ドア７１～７４のそれぞれに対して、それぞれ第１～第４監視カメラ１１～１４が、乗降監視のために取り付けられている。第１～第４監視カメラ１１～１４は、例えば、ＩＰカメラであって、車両外側（側面）の所定の位置に取り付けられている。また、図１では、車両の左右にある乗降用の扉の、左側の扉とその左側の扉に関わる監視カメラだけを図示し、反対側（右側）の扉及びその扉に関わる監視カメラを図示していない。監視カメラ以外の他の構成は、左右の扉に関係なく共通である。
　先頭の第１車両１には、監視用のモニタＰＣ１４０が設けられており、また、最後尾の第４車両４にも、監視用のモニタＰＣ１４２が設けられている。モニタＰＣ１４０、１４２は、それぞれ複数で構成されてもよい。
　運転手は、全ての第１～第４監視カメラ１１～１４が撮像した映像を、モニタＰＣ１４０、１４２によって確認することができる。表示される映像は、例えば、１つの車両の監視カメラについて複数に分割された表示領域で示し、順次別の車両の監視カメラの映像に切り替わるように表示されてもよい。
　図２は、図１と同様に、車両の左右にある乗降用の扉の、左側の扉とその片側の扉に関わる監視カメラだけを図示し、反対側の扉及びその扉に関わる監視カメラを図示していない。その他の構成は、左右の扉に関係なく共通である。
　モニタリングシステム１００は、図１または図２に示すように、第１～第４車両１～４を連結した列車に設置される。監視カメラシステム１００は、第１～第４監視カメラ１１～１４、モニタＰＣ１４０、１４２、Ｌ２－ＳＷ（レイヤ２スイッチ）１４４～１４７、サーバ５０（制御装置）、録画装置５１、上位サーバ５２、警報器５３、非常停止装置５５を備える。なお、図示しない電源供給ケーブルが、各機器に第１～第４車両１～４の電源供給部（図示しない）から電源を供給する。
　先頭の第１車両１には、サーバ５０と録画装置５１、上位サーバ５２、警報器５３、非常停止装置５５、第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）、モニタＰＣ１４０、１４２１、及びＬ２－ＳＷ１４４が設置されている。
　サーバ５０、録画装置５１、モニタＰＣ１４０、１４２、警報器５３、非常停止装置５５及び第１～第４監視カメラ１１～１４は、それぞれＬ２－ＳＷ１４４に接続され、上位サーバ５２は、サーバ５０に接続されている。また、Ｌ２－ＳＷ１４４は、後の第２車両２に設置されたＬ２－ＳＷ１４５と接続されている。
　最後尾の第４車両４には、第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）、モニタＰＣ１４２、警報器５３、非常停止装置５５及びＬ２－ＳＷ１４７が設置されている。第１～第４監視カメラ１１～１４、警報器５３、非常停止装置５５及びモニタＰＣ１４２は、それぞれＬ２－ＳＷ１４７に接続されている。また、Ｌ２－ＳＷ１４７は、前の第３車両３に設置されたＬ２－ＳＷ１４６と接続されている。
　なお、上位サーバ５２は、例えば、列車の運行を管理する装置であり、例えば、ＴＭＳ（Train Management System）である。上位サーバ５２は、列車運行中には、列車の運行情報をサーバ５０に所定の周期で出力している。列車の運行情報は、少なくとも、列車の速度情報、乗降扉開閉情報（乗降用の扉が開いているか、閉じているかの情報）、次に停車する駅若しくは現在停車中の駅のホームにおける乗降口の情報（例えば、左側の扉が乗降口であるか、右側の扉が乗降口であるかの情報）、車両数である。
　中間の第２車両２には、第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）、及びＬ２－ＳＷ１４５が設置されている。Ｌ２－ＳＷ１４５は、前の第１車両１に設置されたＬ２－ＳＷ１４４、及び後の第３車両３に設置されたＬ２－ＳＷ１４６とそれぞれネットワークケーブルで接続されている。また第３車両３は、第２車両２と同様に、第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）、及びＬ２－ＳＷ１４６が設置されており、Ｌ２－ＳＷ１４６は、前の第２車両２に設置されたＬ２－ＳＷ１４５、及び後の第４車両４に設置されたＬ２－ＳＷ１４７とそれぞれネットワークケーブルで接続されている。
　このように、先頭の第１車両１と中間の第２車両２、中間の第２車両２と第３車両３同士、中間の第３車両３と最後尾の第４車両４は、それぞれ隣り合う車両に搭載されたＬ２－ＳＷ同士をネットワークケーブル等で接続することで、列車内で１つのネットワークを構築している。
　図１、図２の監視カメラシステム１００では、先頭の第１車両１に運転手（乗務員）が搭乗し、列車の運行（運転や、乗降口の開閉等）の操作を１人で行うことができる。第１～第４監視カメラ１１の映像から列車を停止すべきと判断した場合に、運転手等は、非常停止装置５５を操作することで列車を緊急停止させることができる。また、警報器５３からは緊急時である旨のアラーム等が出力される。
　全ての第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）は、予め定められた視野内をそれぞれ所定の撮像フレームレートで撮像する。そして、第１～第４監視カメラ１１～１４は、撮像した映像（ライブ映像）をH.264/MPEG4/JPEG等の形式で圧縮し、Ｌ２－ＳＷとネットワークケーブルを経由して、録画装置５１及びモニタＰＣ１４０、１４２に送信する。
　録画装置５１は、入力された映像を、撮像した監視カメラ及び撮像時刻と関連付けて常時記録している。モニタＰＣ１４０、１４２は、全ての第１～第４監視カメラ１１～１４のライブ映像及び録画映像をサーバ５０の指示により、伸張及び切り出し等の映像処理を施して画面に表示する。
　なお、録画映像は、主に事故や犯罪の発生等の有事の際に、解析資料や証拠映像として使用される。また、サーバ５０やモニタＰＣ１４０、１４２や第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）や録画装置５１の主な設定は、操作者が、予めシステム運用開始時に設定する。
　また、第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）は、録画装置５１及びモニタＰＣ１４０、１４２に、所定の送信フレームレートで映像を送信する。または、第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）は、モニタＰＣ１４０、１４２からＬ２－ＳＷを介して送信される送信要求に応じて、録画装置５１及びモニタＰＣ１４０、１４２に所定の送信フレームレートで映像を送信する。
　なお、第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）の映像を、監視カメラが自動的に所定のフレームレートで送信するか、モニタＰＣ１４０、１４２からの送信要求に応じて送信するかは、予め操作者が、予めシステム運用開始時に設定することが可能であるし、また、運転手がサーバ５０を操作して切り替えることが可能である。
　また、サーバ５０は、第１～第４監視カメラ１１～１４（１１ａ～１４ａ及び１１ｂ～１４ｂ）の画角や撮影方向を制御することができる。また、サーバ５０は、取得した映像に対して画像処理を施し、監視対象領域に警告事由が発生したか否かを判断する。ここでは、警告事由とは、例えば、第１～第４車両ドア７１～７４に何らかの物体（人の腕やカバン、傘、ベビーカーの車輪等）が挟まった状態を想定する。なお、警告事由の判定は、画像処理の他に、第１～第４車両ドア７１～７４に設けられた物理センサ（赤外線センサや圧力センサ）の検知結果が用いられてもよい。それらを併用することで、検知確度が高まる。
　ここで、図１（ｂ）を参照して、第１～第４監視カメラ１１～１４による運用形態について説明する。駅のホーム９９に停車中の１つの車両４０（４ドア構成）を表している。第１監視カメラ１１は、第１車両ドア７１の前方側上方に取り付けられ、後方下側を撮像方向に設定されている。第２監視カメラ１２は、第２車両ドア７２の後方側上方に取り付けられ、前方下側を撮像方向に設定されている。第３監視カメラ１３は、第３車両ドア７３の前方側上方に取り付けられ、後方下側を撮像方向に設定されている。第４監視カメラ１４は、第４車両ドア７４の後方側上方に取り付けられ、前方下側を撮像方向に設定されている。
　第１～第４監視カメラ１１～１４はそれぞれ第１～第４車両ドア７１～７４を監視しており、第１車両ドア７１と第２車両ドア７２、また、第３車両ドア７３と第４車両ドア７４とはそれぞれ対となる組合せであることとする。
　図３に第１～第４車両ドア７１～７４の映像をモニタ８０の４分割表示に割り付けた例を示す。図３（ａ）は映像の向き（監視方向）を調整しない状態で表示した例であり、図３（ｂ）は映像の向きを全てのカメラで統一して表示した例である。モニタ８０への映像割り付けは、車両ドア（第１～第４車両ドア７１～７４）が開いてから全ての車両ドアについて挟み込み無く正常に閉じるまでの間行われる。
　なお、図示の形態のモニタ８０では、一つのモニタ８０で１車両分すなわち４映像が最大となるが、監視モニタ画面にページ送り機能を加えて、複数車両分の映像を表示するようにしてもよい。
　また、図４に示すように、モニタ８０において、最低限必要な映像範囲を切り出して、一つの監視モニタ画面に２車両分の８映像以上の映像を表示してもよい。例えば、上段８５は、第１車両１の監視映像で、下段８６は第２車両２の監視映像である。
　つづいて、車両ドア（第１～第４車両ドア７１～７４）を閉じた時の挟み込み判定処理について説明する。乗客の乗り降りが完了したのち乗務員９８は、車両ドア（第１～第４車両ドア７１～７４）を閉じる。この時、車両ドア（第１～第４車両ドア７１～７４）を閉める指示を、サーバ５０でも受け取り、定期周期での車両ドア（第１～第４車両ドア７１～７４）の監視映像の静止画取得を開始する。
　なお、静止画の取得は、動画である映像からそれを構成する画像フレームを所定のタイミング（例えば、０．５秒ごと）で抽出することで行ってもよい。また、静止画は取得開始してから一定時間の間だけ取得する。
　次に、挟み込み判定処理を具体的に説明する。挟み込み判定処理では、監視対象エリアの差分画像をもとに判定を行う。図５は、挟み込み判定処理時の差分取得手順を示す図である。
　ここで、第１監視カメラ１１が監視する第１車両ドア７１に、人の手が挟まっているかどうか判定する場合を例示する、他の監視カメラ（第２～第４監視カメラ１２～１４）についても同様の処理がなされる。サーバ５０には、予め何も挟み込んでいない正常に閉じた第１車両ドア７１を映す第１監視カメラ１１の静止画（以下、「基準画像９１」という）が記憶されている。また、挟み込み判定処理中に撮影した画像を「観測画像９２」という。
　挟み込み判定処理を行うために、第１車両ドア７１が閉じてから最初に取得した第１車両ドア７１の観測画像９２と、基準画像９１を重ねて差分（差分画像９４）を取得し、差分が無ければ「挟み込み無し」と判断する。差分を取得する画像処理については、一般的な技術を用いることができる。
　図６は挟み込み判定処理時の差分の動き検出の観測手順を示す図である。この時、図５の手順で差分が取得できた場合、次は正常な静止画と定期的に取得している第１車両ドア７１の静止画を順に比較し、前述で差分として捉えた物体の動きを観測する。
　まず、基準画像９１と定期的に取得している第１車両ドア７１の観測画像９２を順に比較し、それぞれ取得した差分（差分画像９４）の外枠を四角形Ｆで囲み、中心座標Ｃを求める。なお、最初の差分画像９４の中心座標を「Ｃ１」とし、順次「Ｃ２」、「Ｃ３」・・・、「Ｃｎ」とし、区別しない場合は「Ｃ」と表記する。
　次に最初に求めた差分画像９４の中心座標Ｃ１に対する、以降の中心座標Ｃ２、Ｃ３、・・・「Ｃｎ」の差分を求め、その差分が一定の閾値を上回った場合、差分として捉えた物体は車両ドアに挟みこまれているのではなく、移動している物体（例えば、歩行者等）であるとし、「挟み込み無し」と判断する。
　中心座標Ｃの差分が一定の閾値を下回った場合、すなわち中心座標Ｃの動きが小さい場合、差分として捉えた物体はドア付近に滞留している物体であり、第１車両ドア７１に挟み込まれている、すなわち「挟み込み有り」と判断する。
　次に、挟み込み確定時の処理を説明する。図７は、「挟み込み有り」と判断した場合の監視映像の表示例である。通常、モニタ８０には、駅停車後に車両ドア（第１～第４車両ドア７１～７４）を開けた時点より車両ドア（第１～第４車両ドア７１～７４）の監視映像が割り付けられ表示されている。
　ただし、前述で挟み込みが発生していると判断した監視カメラの映像について、図７のように赤枠Ｆ１００等で囲んだり明るく表示させたり枠を点滅表示させるなど、注意を引きやすい強調した表示態様で表示する。注意の引きやすさを時間の経過と共に強めても良い。
　また、サーバ５０は、挟み込みが１件以上発生した場合、警報器５３でアラーム音を鳴動する。このとき、表示態様と同じように、挟み込みを認識時点から時間が経つにしたがって、アラーム音を大きくする等の処理を行ってもよい。
　つづいて、挟み込み判定解除処理を説明する。挟み込みが解除されたかどうかの判定は、モニタ８０の映像を確認する乗務員９８の判断とする。図８は、挟み込み判定解除操作を可能に表示するモニタ８０の表示例を示す。表示領域の下部に、タッチ操作（又は外部入力インタフェイス等からの操作）する十字入力ボタンＢ１２、や解除ボタンＢ１１等を用意する。乗務員９８は、挟み込みが解消された映像を十字入力ボタンＢ１２で選択して、解除ボタンＢ１１を押下することで、挟み込み判定状態を解除する。
　選択中の映像に対しては青枠Ｆ１０１を描画し、解除された映像については赤枠Ｆ１００の描画を削除する。全ての車両ドアの監視映像が挟み込み無しの状態となった場合、電車の走行開始指示（列車発車許可）を待ち、走行開始後監視モニタの映像表示を全て終了する。また、挟み込みが０件になった場合アラーム音の鳴動を停止する。
　図９は、駅停車後、車両ドア開による監視開始までの処理について、乗務員９８、サーバ５０、モニタ８０及び監視カメラ（第１～第４監視カメラ１１～１４）に着目したシーケンス図である。図１０は、車両ドアを閉めた際のシーケンス図である。図１１は、挟み込み判定解除処理のシーケンス図である。図１２は、監視カメラシステム１００による駅停車から発車までの概略を示すフローチャートである。図９のシーケンスは図１２のフローチャートのＳ１１～Ｓ１３に対応し、図１０のシーケンスは図１２のフローチャートのＳ１４～Ｓ２２に対応し、図１１のシーケンスは図１２のフローチャートのＳ２２、Ｓ２３に対応する。
　サーバ５０は、列車が駅に停車しドアが開いたか否かを監視し（Ｓ１１）、ドアが開いていない場合（Ｓ１１のＮ）は映像表示を停止状態にして（Ｓ１２）、停車監視を継続する（Ｓ１１）。列車が駅に停車し車両ドア（第１～第４車両ドア７１～７４）が開いた旨を検知すると（Ｓ１１のＹ）、サーバ５０は、第１～第４監視カメラ１１～１４の監視映像を乗務員室等に設定されているモニタ８０へ順次割り付け表示処理を開始する（Ｓ１３）。
　つぎに、乗務員９８等の操作により車両ドア（第１～第４車両ドア７１～７４）が閉まると（Ｓ１４）、サーバ５０は挟み込み判定（Ｓ１５～）を行う。
　まずサーバ５０は、監視カメラ（第１～第４監視カメラ１１～１４）のＩＤを示す変数Ｎを初期化（Ｎ＝０）する（Ｓ１５）。つづいて、変数Ｎをインクリメントし（Ｓ１６）、カメラＮ（Ｎ＝１～４の場合に第１監視カメラ１１～第４監視カメラ１４のそれぞれに対応する）の映像をもとに、図６で説明した挟み込み判定処理を行う（Ｓ１７）。
　サーバ５０は、挟み込みありの場合（Ｓ１８のＹ）、その映像を表示する際のフレーム（枠）を赤に設定し（Ｓ１９）、挟み込み無しの場合（Ｓ１８Ｎ）、フレームを無しに設定する（Ｓ２０）。
　つづいて、サーバ５０は、変数Ｎが所定数（Ｊ）を超えているかをチェックすることで全ての監視カメラ（第１～第４監視カメラ１１～１４）について挟み込み判定を行ったか判断する（Ｓ２１）。挟み込み判定が残っていれば（Ｓ２１のＮ）、Ｓ１６の処理に戻る。
　ここで図１０のシーケンスを参照して、挟み込み判定のより具体的な手順を説明する。図１０のシーケンスに示すように、取得時間分取得が完了すると（Ｓ１００）、次に予めサーバ５０内で所有している、各監視カメラの車両ドアに何も挟み込んでいない正常な状態の静止画（基準画像９１）と、上記の取得時間で最初に取得した静止画（観測画像９２）との差分比較を行う（Ｓ１０１）。
　この時差分が見られた監視カメラについてのみ、差分が有ることを示すフラグを立てる（Ｓ１０２）。次に差分が見られた監視カメラの監視映像について、挟み込み判定処理を行う（Ｓ１０３）。
　差分が見られる場合、中心座標Ｃの差分判定処理を行う（Ｓ１０３）。すなわち、今度は取得した静止画（観測画像９２）と基準画像９１との差分を取得する。次にその差分となる物体の四辺を覆う四角形Ｆを描画し、その中心点を求めて中心座標Ｃとする。
　サーバ５０は、この中心座標Ｃを予め閾値として定める値と比較し、閾値を下回った場合、Ｓ１０４の処理として、挟み込みが発生していると判断し、モニタ８０へ該当映像の赤枠描画指示、該当映像を映す監視カメラの挟み込み発生フラグ立て、全体の挟み込み発生件数のインクリメントを実施する。
　また、挟み込み発生時はアラーム鳴動処理を行う（Ｓ１０５）。挟み込み発生件数のインクリメントの際に、アラーム鳴動フラグが立っていない場合、アラームの鳴動開始指示とアラーム鳴動フラグのインクリメントも実施する。
　なお、静止画の差分の閾値チェックは、静止画枚数分実施するのではなく、閾値を超えた場合はその時点で次の監視カメラの静止画の閾値チェックに移行する。上記を、全ての監視カメラの静止画について閾値チェックが完了するまで実施する。
　図１２の説明に戻る。
　全ての挟み込み判定が終了すると（Ｓ２１のＹ）、挟み込みの発生件数が１件以上あるか否かを判断する（Ｓ２２）。
　挟み込みの発生件数が１件以上あれば（Ｓ２２のＹ）、サーバ５０は、例えば図８のモニタ８０の表示例に示したような解除ボタンＢ１１の操作によって挟み込み判定が解除されたかどうか判断する（Ｓ２３）。解除ボタンＢ１１の操作によって挟み込み判定が解除された場合、サーバ５０は、挟み込み発生件数が１件以上あるか否かを再度判定する（Ｓ２２）。
　サーバ５０は、挟み込み件数が０になったと判断すると、すなわち、挟み込み状態が解消されたと判断すると（Ｓ２２のＮ）、列車発車許可の状態にする（Ｓ２４）。この後、乗務員９８の操作によって、列車は走行を開始するが、モニタ８０への第１～第４監視カメラ１１～１４の映像の表示は、所定条件の間、例えば、列車速度が所定以上（例えば３ｋｍ／ｈ以上）となるまで継続する。また、列車走行開始後、挟み込み判定処理を継続した場合に、挟み込みが検知された場合、サーバ５０は、非常停止装置５５に列車停止を指示してもよい。
　ここで、図１１を参照して挟み込み判定解除処理を具体的な手順を説明する。図８等で説明したように、挟み込み判定の解除は乗務員９８の確認をもって行う。
　乗務員９８は、サーバ５０は車両ドアが閉められたという通知を受けると、まず挟み込み判定処理の完了を待つ（Ｓ２０１）。完了後、挟み込み発生件数が１件も無い場合はそのまま乗務員の走行指示を待ち、走行を開始したらモニタ８０の映像表示を全て終了する（Ｓ２０２）。
　挟み込み発生件数が１件以上有る場合、乗務員９８の確認作業後終了を待つ（Ｓ２０３）。乗務員は挟み込みが発生している全ての車両ドアについて確認作業を行い、問題無いと判断した場合、映像を選択し解除ボタンを押下する（Ｓ２０４）。
　解除ボタンが押下されたら、サーバ５０はモニタ８０へ該当映像の赤枠描画削除指示、該当映像を映す監視カメラの挟み込み発生フラグ削除、挟み込み発生件数のデクリメントを実施する（Ｓ２０５）。挟み込み発生件数がまだ１件以上存在する場合は、挟み込み発生件数が０になるまで上記処理を繰り返す。
　また、挟み込み発生件数のデクリメントの際に、挟み込み発生件数が０になった場合、アラームの鳴動停止指示、アラーム鳴動フラグの削除を実施し（Ｓ２０６）、乗務員の走行指示を待つ（Ｓ２０７）。走行を開始したらモニタ８０の映像表示を全て終了する（Ｓ２０８）。
　以上、本実施形態によると、次の効果が得られる。（１）車両ドア（第１～第４車両ドア７１～７４）の挟みこみ検知において、物理的なセンサの代わり或いは併用で、監視映像の画像処理判定を用いることで、監視カメラシステム１００の可用性、信頼性を向上させることができる。（２）車両ドア（第１～第４車両ドア７１～７４）の監視映像をモニタ８０に自動で割り付けることで、乗務員９８自身が車両ドア（第１～第４車両ドア７１～７４）の映像を見て状況を確認することができ、監視カメラシステム１００の利便性が向上する。（３）車両ドア（第１～第４車両ドア７１～７４）の監視映像をモニタ８０に割り付けている際に、挟み込みを検知した場合、モニタ８０の該当映像を注目を引きやすい表示態様で表示し警報器５３でアラーム音を鳴動させることで、乗務員９８の注意を促し作業効率、監視の容易性、信頼性を向上させることができる。
　以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　例えば、上述の実施形態の処理に合わせて次の機能が追加・変更されてもよい。（１）監視カメラシステム１００に振動計測装置が取り付けられる場合であって、何かしらを挟み込んだまま列車が走行開始した場合、通常の走行開始時より振動が過剰に発生すると想定できる。その振動情報を用いた挟み込み検知と併用することで、検知精度が向上する。（２）監視カメラシステム１００に騒音計測装置が取り付けられる場合、何かしらを挟み込んだまま列車が走行開始した場合、通常の走行開始時より騒音が過剰に発生すると想定できる。その騒音情報を用いた挟み込み検知と併用することで、検知精度が向上する。（３）第１～第４車両ドア７１～７４の開状態から、乗務員９８の状況確認作業→確認後削除ボタンで赤枠削除→挟み込み件数が０になるまで映像表示を続けているが、「削除ボタンを押下することで、選択した映像そのものの表示を終了する。」または「全ての映像表示が終了したら、乗務員による走行開始が可能となる。」といった処理としてもよい。選択した映像を削除し表示終了したら、残っている映像を詰めて表示することで操作性が向上する。
１～４　第１～第４車両１１～１４、１１ａ～１４ａ、１１ｂ～１４ｂ　第１～第４監視カメラ４０　車両５０　サーバ５１　録画装置５２　上位サーバ５３　警報器５５　非常停止装置７１～７４　第１～第４車両ドア８０　モニタ９８　乗務員９９　ホーム１００　監視カメラシステム１４０、１４２　モニタＰＣ１４４～１４７　Ｌ２－ＳＷ

Claims (4)

  1. 　列車のドアを撮影する監視カメラと、前記監視カメラの映像をもとに前記ドアの挟み込み検知を行う制御装置とを備える監視システムであって、
    　前記制御装置は、前記ドアが開いた状態から閉じた状態になったときに、前記監視カメラが撮影した基準画像と、前記基準画像を撮影してから所定時間が経過後、前記監視カメラが撮影した観測画像と、の差分画像から前記ドアに挟み込みが発生していると判断することを特徴とする監視システム。
  2. 　前記監視カメラは、前記基準画像を撮影後、複数の前記観測画像を撮影し、
    　前記制御装置は、前記基準画像と、各観測画像と、の差分画像を取得し、複数の前記差分画像の中心座標から前記中心座標の動きを求め、前記中心座標が動いていないと判断した場合に、前記ドアに挟み込みが発生していると判断することを特徴とする請求項１に記載の監視システム。
  3. 　列車のドアを撮影する監視カメラの映像をもとに前記ドアの挟み込み検知を行う監視方法であって、
    　前記ドアが開いた状態から閉じた状態になったときに、前記監視カメラが撮影した基準画像と、前記基準画像を撮影してから所定時間が経過後、前記監視カメラが撮影した観測画像と、の差分を算出する差分算出工程と、
    　前記差分に基づいて前記ドアに挟み込みが発生していると判断する挟み込み判定工程とを備えることを特徴とする監視方法。
  4. 　前記挟み込み判定工程は、前記差分算出工程で算出した前記差分の中心座標の動きを求め、前記中心座標が動いていないと判断した場合に、前記ドアに挟み込みが発生していると判断することを特徴とする請求項３に記載の監視方法。
PCT/JP2018/008791 2017-03-28 2018-03-07 監視システム及び監視方法 WO2018180311A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18774806.6A EP3606053B1 (en) 2017-03-28 2018-03-07 Monitoring system and monitoring method
JP2019509122A JP6845307B2 (ja) 2017-03-28 2018-03-07 監視システム及び監視方法
US16/493,371 US10864927B2 (en) 2017-03-28 2018-03-07 Monitoring system and monitoring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017062943 2017-03-28
JP2017-062943 2017-03-28

Publications (1)

Publication Number Publication Date
WO2018180311A1 true WO2018180311A1 (ja) 2018-10-04

Family

ID=63677157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008791 WO2018180311A1 (ja) 2017-03-28 2018-03-07 監視システム及び監視方法

Country Status (4)

Country Link
US (1) US10864927B2 (ja)
EP (1) EP3606053B1 (ja)
JP (1) JP6845307B2 (ja)
WO (1) WO2018180311A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3753801A1 (en) 2019-06-17 2020-12-23 Mitsubishi Heavy Industries, Ltd. Surveillance system for an infrastructure and/or a vehicle with event detection
EP3753804A1 (en) 2019-06-17 2020-12-23 Mitsubishi Heavy Industries, Ltd. Modular surveillance system for an infrastructure and/or a vehicle
WO2022138479A1 (ja) * 2020-12-22 2022-06-30 株式会社日立国際電気 監視システム及び監視方法
WO2022176402A1 (ja) * 2021-02-19 2022-08-25 日本電気株式会社 サーバ装置、画像処理方法およびプログラム
WO2023188557A1 (ja) * 2022-03-30 2023-10-05 株式会社日立製作所 列車走行支援装置及び列車走行支援方法
WO2023188528A1 (ja) * 2022-03-30 2023-10-05 株式会社日立製作所 列車走行支援装置及び列車走行支援方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE543788C2 (en) * 2019-04-04 2021-07-20 Icomera Ab System and method for door error detection
DE102020201309A1 (de) 2020-02-04 2021-08-05 Siemens Mobility GmbH Verfahren und System zur Überwachung eines Transportmittelumfelds
WO2023158854A2 (en) * 2022-02-21 2023-08-24 Rf Code, Inc. System, apparatus, and method for monitoring edge compute sites

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5748468B2 (ja) 1972-02-22 1982-10-16
JP2005349997A (ja) * 2004-06-11 2005-12-22 Toshiba Corp 鉄道車両における乗降客ドアの異物検出装置
JP2009279970A (ja) * 2008-05-19 2009-12-03 Mitsubishi Electric Corp 車両用戸挟み検知システムおよび戸挟み検知方法
JP2014148300A (ja) * 2013-01-09 2014-08-21 Use Co Ltd 監視装置、方法、プログラム、又はシステム
JP2014184803A (ja) 2013-03-22 2014-10-02 Hitachi Kokusai Electric Inc ホーム監視装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE520075C2 (sv) * 2000-12-01 2003-05-20 Safenet I Harads Ab Förfarande vid klämskyddsanordningar samt anordning för genomförande av förfarandet
JP4163428B2 (ja) * 2002-03-05 2008-10-08 株式会社東芝 鉄道車両における乗降客ドアの異物検知装置
US20090093384A1 (en) * 2007-10-03 2009-04-09 The Lubrizol Corporation Lubricants That Decrease Micropitting for Industrial Gears
JP5205932B2 (ja) * 2007-11-15 2013-06-05 富士電機株式会社 車両用ドア安全確認システム
JP5559593B2 (ja) * 2010-05-19 2014-07-23 株式会社日立国際電気 監視システム
JP5748468B2 (ja) 2010-12-09 2015-07-15 三菱電機株式会社 ホーム状況検知装置
JP2014084064A (ja) * 2012-10-26 2014-05-12 Mitsubishi Heavy Industries Transportation Equipment Engineering & Service Co Ltd プラットホームドア監視装置及びプラットホームドア監視方法
DE102014207828A1 (de) * 2014-04-25 2015-10-29 Siemens Aktiengesellschaft Verfahren zur Bereitstellung einer Diagnosenachricht bei einem Schienenfahrzeug
JP6423778B2 (ja) * 2015-11-13 2018-11-14 株式会社ミツバ 開閉体駆動装置、車両用ドア、及び車両

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5748468B2 (ja) 1972-02-22 1982-10-16
JP2005349997A (ja) * 2004-06-11 2005-12-22 Toshiba Corp 鉄道車両における乗降客ドアの異物検出装置
JP2009279970A (ja) * 2008-05-19 2009-12-03 Mitsubishi Electric Corp 車両用戸挟み検知システムおよび戸挟み検知方法
JP2014148300A (ja) * 2013-01-09 2014-08-21 Use Co Ltd 監視装置、方法、プログラム、又はシステム
JP2014184803A (ja) 2013-03-22 2014-10-02 Hitachi Kokusai Electric Inc ホーム監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3606053A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3753801A1 (en) 2019-06-17 2020-12-23 Mitsubishi Heavy Industries, Ltd. Surveillance system for an infrastructure and/or a vehicle with event detection
EP3753804A1 (en) 2019-06-17 2020-12-23 Mitsubishi Heavy Industries, Ltd. Modular surveillance system for an infrastructure and/or a vehicle
WO2020254972A1 (en) 2019-06-17 2020-12-24 Mitsubishi Heavy Industries, Ltd. Surveillance system for an infrastructure and/or a vehicle with event detection
WO2020254971A1 (en) 2019-06-17 2020-12-24 Mitsubishi Heavy Industries, Ltd. Modular surveillance system for an infrastructure and/or a vehicle
JP7372351B2 (ja) 2019-06-17 2023-10-31 三菱重工業株式会社 インフラストラクチャおよび／または車両のためのモジュール式監視システム
WO2022138479A1 (ja) * 2020-12-22 2022-06-30 株式会社日立国際電気 監視システム及び監視方法
GB2617005A (en) * 2020-12-22 2023-09-27 Hitachi Int Electric Inc Monitoring system and monitoring method
WO2022176402A1 (ja) * 2021-02-19 2022-08-25 日本電気株式会社 サーバ装置、画像処理方法およびプログラム
WO2023188557A1 (ja) * 2022-03-30 2023-10-05 株式会社日立製作所 列車走行支援装置及び列車走行支援方法
WO2023188528A1 (ja) * 2022-03-30 2023-10-05 株式会社日立製作所 列車走行支援装置及び列車走行支援方法

Also Published As

Publication number Publication date
EP3606053A4 (en) 2020-09-09
EP3606053A1 (en) 2020-02-05
JP6845307B2 (ja) 2021-03-17
EP3606053B1 (en) 2022-11-02
US10864927B2 (en) 2020-12-15
US20200031373A1 (en) 2020-01-30
JPWO2018180311A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
WO2018180311A1 (ja) 監視システム及び監視方法
JP5988472B2 (ja) 監視システム、および、混雑率算出方法
US10728505B2 (en) Monitoring system
JP6393946B2 (ja) 監視装置、方法、プログラム、又はシステム
KR101851539B1 (ko) 드론을 이용한 감시 시스템
JP5205932B2 (ja) 車両用ドア安全確認システム
JP6483214B1 (ja) エレベータシステム及びエレベータの迷子検出方法
JP6920776B2 (ja) 監視支援システム及び監視支援方法
JP2014084064A (ja) プラットホームドア監視装置及びプラットホームドア監視方法
JP6955584B2 (ja) ドア映像表示システムおよびモニタ
KR101025531B1 (ko) 엘리베이터의 내부 이상 감지 및 경보장치
JP2003063747A (ja) エレベータの監視システム
KR20100013481A (ko) 열차 모니터링 시스템 및 방법
JP6807493B2 (ja) 映像表示システム及び映像表示方法
JP2014216828A (ja) 監視カメラ
JP7062879B2 (ja) 表示制御装置及び表示制御方法
KR101917808B1 (ko) 승강기 영상 감시 시스템 및 승강기 영상 감시 방법
JP6092537B2 (ja) 鉄道監視システムおよび鉄道監視方法
KR101802388B1 (ko) 승강기 블랙박스 및 승강기 영상녹화 방법
JP5653093B2 (ja) 鉄道車両用ドアの安全確認装置
JP2004104240A (ja) 防犯映像管理システム
KR20160088467A (ko) 프라이버시 보호용 감시 카메라
JP2015198317A (ja) ワンマン運転用触車予防検知システム
JP3408950B2 (ja) エレベータの画像情報提供装置
KR102085645B1 (ko) 탑승자 카운팅 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18774806

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509122

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018774806

Country of ref document: EP

Effective date: 20191028