WO2022220072A1 - 監視装置および監視システム - Google Patents

監視装置および監視システム Download PDF

Info

Publication number
WO2022220072A1
WO2022220072A1 PCT/JP2022/014458 JP2022014458W WO2022220072A1 WO 2022220072 A1 WO2022220072 A1 WO 2022220072A1 JP 2022014458 W JP2022014458 W JP 2022014458W WO 2022220072 A1 WO2022220072 A1 WO 2022220072A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
view
angle
processing
Prior art date
Application number
PCT/JP2022/014458
Other languages
English (en)
French (fr)
Inventor
伸 山田
和彦 岩井
偉志 渡邊
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2022220072A1 publication Critical patent/WO2022220072A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L29/00—Safety means for rail/road crossing traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a monitoring device and a monitoring system that detect and notify that a person has entered a no-entry zone based on a camera image of a no-entry zone in which a vehicle travels and a boarding/alighting place.
  • a monitoring system has been proposed that detects a person who has fallen from the platform onto the railway using camera images of the platform and the railway, and notifies a station attendant of the occurrence of a person who has fallen from the platform.
  • the angle of view of the camera may shift due to various reasons. For example, an erroneous operation of a camera having a pan/tilt function may cause the angle of view of the camera to shift. In addition, the angle of view of the camera may shift due to vibration caused by a passing train or the like. In addition, the angle of view of the camera may shift due to the worker touching the camera during cleaning or inspection. When the angle of view of the camera shifts in this way, the shooting range of the camera changes.
  • a template matching method is used to determine whether or not a train exists on the track along the platform based on camera images. It is possible to use an image recognition model (machine learning model) constructed by machine learning to determine the location of the train.
  • image recognition model machine learning model
  • the primary objective is to provide a monitoring device and monitoring system that performs well.
  • the monitoring device of the present disclosure includes a processor that detects that a person has entered the no-entry zone based on camera images acquired from a camera that captures the entry-no-no zone where the vehicle travels and the boarding and alighting place, and instructs notification.
  • the processor performs a first process of detecting a person who has entered the no-entry zone from the boarding/alighting location based on the camera image, and based on the camera image, detects the performing a second process of determining the presence or absence of the vehicle in the no-entry zone, determining whether or not the notification is necessary based on both the detection result of the first process and the determination result of the second process; and performing image conversion processing for reproducing the camera image with the original angle of view from the camera image with the current angle of view when the angle of view of the camera is shifted, and obtaining the camera image by the image conversion processing. is used to perform the first process and the second process.
  • the monitoring system of the present disclosure includes the monitoring device, a camera that captures the no-entry zone and the boarding/alighting place, and a notification device that performs a predetermined notification operation in response to an instruction from the monitoring device. Configuration.
  • the image conversion process reproduces the camera image with the original angle of view from the camera image with the current angle of view.
  • the image recognition model can be used without the need for time-consuming readjustment and re-learning of parameters. It is possible to accurately determine the presence of a train using
  • FIG. 1 is an overall configuration diagram of a monitoring system according to a first embodiment;
  • FIG. Explanatory drawing showing the photographing situation of the camera according to the first embodiment.
  • Explanatory diagram showing a detection line and an on-line determination area set on a camera image according to the first embodiment.
  • Explanatory diagram showing an overview of fall detection processing performed by the monitoring server according to the first embodiment.
  • FIG. 4 is an explanatory diagram showing an overview of image conversion processing performed by the monitoring server according to the first embodiment;
  • 1 is a block diagram showing a schematic configuration of a monitoring server according to the first embodiment;
  • FIG. 2 is a flowchart showing the procedure of processing performed by the monitoring server according to the first embodiment;
  • Explanatory diagram showing an overview of state determination processing performed by the monitoring server according to the second embodiment.
  • Explanatory diagram showing an example of a case where the angle of view deviation of the camera according to the second embodiment falls within the allowable range and a case where it exceeds the allowable range.
  • the first invention detects that a person has entered the no-entry area based on a camera image acquired from a camera that captures the no-entry area in which the vehicle travels and the boarding and alighting place.
  • a monitoring device comprising a processor for instructing notification by performing a first process of detecting a person who has entered the no-entry zone from the boarding/alighting place based on the camera image, and Based on the camera image, a second process is performed to determine whether or not the vehicle is present in the no-entry zone, and the notification is made based on both the detection result of the first process and the determination result of the second process.
  • an image conversion process is performed to reproduce the camera image with the original angle of view from the camera image with the current angle of view, and the image conversion is performed.
  • the camera image obtained by the processing is used to perform the first processing and the second processing.
  • the image conversion process reproduces the camera image with the original angle of view from the camera image with the current angle of view.
  • the image recognition model can be used without the need for time-consuming readjustment and re-learning of parameters. It is possible to accurately determine the presence of a train using
  • the processor uses at least three reference points set in association with each of the camera image at the current angle of view and the camera image at the original angle of view to determine the It is configured to perform image conversion processing.
  • the image conversion process can be performed appropriately, so the camera image with the original angle of view can be reproduced with high accuracy.
  • the processor prelearns the camera image in which the vehicle is present and the camera image in which the vehicle is not present as learning data for an image recognition model. is used to determine the presence or absence of the vehicle.
  • the processor determines whether or not the angle of view deviation falls within a predetermined allowable range, and performs the image conversion process when the angle of view deviation falls within the allowable range. Then, the intrusion detection process is continued, and when the deviation of the angle of view exceeds the allowable range, a process of notifying the staff that the intrusion detection process cannot be continued is performed.
  • a fifth aspect of the present invention provides a monitoring device comprising the monitoring device, a camera for photographing the no-entry zone and the boarding/alighting place, and a notification device for performing a predetermined notification operation in accordance with an instruction from the monitoring device.
  • the image recognition model can be updated without readjusting or relearning the parameters. It is possible to accurately determine the location of the train using the system.
  • FIG. 1 is an overall configuration diagram of a monitoring system according to the first embodiment.
  • the monitoring system detects a person (falling person) who falls from the platform onto the tracks at a railway station and notifies the station staff to that effect.
  • This monitoring system includes a camera 1, a recorder 2 (recording device), a monitoring server 3 (monitoring device), a fixed notification terminal 4 (notification device), an alarm light 5 (notification device), and a mobile notification terminal 6 ( notification device) and A camera 1, a recorder 2, a monitoring server 3, a fixed notification terminal 4, an alarm light 5, and a mobile notification terminal 6 are interconnected via a network.
  • a camera 1 is installed in each predetermined monitoring area within the station premises.
  • the camera 1 photographs the platform and the track along the platform as a monitoring area.
  • a camera 1 transmits a camera image of a monitored area to a recorder 2 or a monitoring server 3 via a network.
  • the recorder 2 acquires camera images from the camera 1 and accumulates them.
  • the monitoring server 3 is installed in an equipment room, data center, etc. within the station.
  • the monitoring server 3 acquires a camera image from the camera 1 and performs processing (falling detection processing) for detecting a person (falling person) falling from the platform onto the railroad track.
  • processing falling detection processing
  • the monitoring server 3 detects a person who has fallen, the monitoring server 3 performs a process of notifying the staff of the station to that effect.
  • the fixed notification terminal 4, the warning light 5, and the mobile notification terminal 6 are instructed to perform predetermined notification operations.
  • the functions of the monitoring server 3 may be realized by a cloud computer.
  • the fixed notification terminal 4 is installed in an office or the like.
  • the fixed notification terminal 4 can be realized by installing an application for notification of falls in a PC.
  • a notification screen is displayed as a notification operation for notifying the station staff that there is a person who has fallen.
  • the warning lights 5 are installed in offices and the like. In response to instructions from the monitoring server 3, the warning light 5 lights up or outputs an alarm sound as a notification operation for notifying the station staff of the presence of a fallen person.
  • the mobile notification terminal 6 is a mobile terminal such as a smartphone or tablet terminal.
  • the movement notification terminal 6 is possessed by a station attendant who rushes to the scene and takes necessary measures.
  • the mobile notification terminal 6 displays a notification screen, outputs an alarm sound, and outputs vibration as a notification operation for notifying the station staff of the presence of a fallen person.
  • an accident in which a user falls onto the tracks from the platform of a railway station is detected and notified to the staff, but this is not limited to railway stations.
  • a person who has fallen from a platform onto a railroad track at a railway station is detected, and the station staff is notified that there is a person who has fallen. may be detected to have fallen onto the track, and the station attendant may be notified of the presence of the fallen object.
  • FIG. 2 is an explanatory diagram showing the photographing situation of the camera 1.
  • FIG. 3 is an explanatory diagram showing detection lines and on-line determination areas set on a camera image.
  • FIG. 4 is an explanatory diagram showing an overview of fall detection processing performed by the monitoring server 3. As shown in FIG.
  • the camera 1 photographs the platform (boarding/alighting place) and the track (no-entry zone) along the platform as a monitoring area.
  • a plurality of cameras 1 may be installed, and the platform and the railroad track along the platform may be photographed without omission by the plurality of cameras 1, thereby eliminating blind spots in the fall detection process and preventing detection omissions.
  • the monitoring server 3 acquires a camera image of the platform and the railroad track along the platform. Based on the camera image, the monitoring server 3 detects a person (faller) falling from the platform onto the railroad track (falling detection process), and notifies the station attendant of the occurrence of the falling accident.
  • the monitoring server 3 performs track intrusion person detection processing (first processing) for detecting a person who has intruded from the platform to the railroad track along the platform based on the camera image. , based on the camera image, the presence of a train (vehicle) on the track along the platform is determined (second processing), and both the detection result of the track intrusion person detection process and the determination result of the train presence determination process are performed. Determines whether notification is necessary or not.
  • first processing track intrusion person detection processing
  • second processing determines whether notification is necessary or not.
  • a detection line is set on the boundary between the platform and the railroad tracks in the camera image.
  • a person who crosses the detection line and enters the railroad track is detected.
  • a person on the platform is detected from the camera image (person detection processing), and it is determined whether the detected person has crossed the detection line and moved from the platform side to the railroad side (track intrusion determination). process).
  • a rectangular on-line determination area is set in advance on the camera image for the on-line determination process.
  • This on-track determination area is set to a portion of the track covered by the body of the train when a train exists on the track along the platform in the camera image.
  • an area image is obtained by extracting the area of the on-track determination area from the camera image, and based on the area image, it is determined whether or not there is a train on the track along the platform.
  • the on-track determination process is performed using an image recognition model (machine learning model).
  • image recognition model machine learning model
  • the image recognition model for judging the presence of trains is pre-supervised learning using area images with trains on the tracks along the platform and area images with no trains on the tracks along the platform as learning data. Built by doing.
  • the angle of view of the camera 1 may shift due to various causes.
  • an erroneous operation of the camera 1 having a pan/tilt function may cause the angle of view of the camera 1 to shift.
  • the angle of view of the camera 1 may shift due to vibration caused by a passing train or the like.
  • the angle of view of the camera 1 may shift due to the operator touching the camera 1 during cleaning, inspection, or the like.
  • the angle of view of the camera 1 represents the range of the subject that is actually photographed by the camera 1, and relates to the orientation (orientation) of the camera 1 as a photographing condition.
  • the imaging condition includes the zoom magnification, that is, the width of the imaging range centered on the optical axis of the lens.
  • the imaging range of the camera 1 will change, so the subject captured in the train determination area set on the camera image will shift, and the accuracy of the train determination will decrease.
  • the on-rail determination process is performed using an image recognition model (machine learning model). Therefore, when the angle of view of the camera 1 deviates, it is necessary for the engineer to readjust the parameters of the image recognition model, or to collect learning data over time and re-learn.
  • image recognition model machine learning model
  • an image recognition model of the original angle of view (at the time of installation, etc.) is constructed from the camera image with the current angle of view.
  • An image conversion process is performed to reproduce the camera image based on the angle of view at the point in time), and the camera image obtained by this image conversion process is used to detect a person intruding on the track (first process) and to determine the presence of a person on the track (second process). processing) is performed.
  • FIG. 5 is an explanatory diagram showing an overview of image conversion processing.
  • a plurality of (at least three) reference points are set in association with each other in each of the camera image at the current angle of view and the camera image at the original angle of view.
  • Affine transformation is performed as image transformation processing with the point as a reference. Note that the transformation is not limited to the affine transformation, and for example, perspective projection transformation may be used.
  • the operator performs an operation of inputting the positions of a plurality of reference points for both the camera image at the current angle of view and the camera image at the original angle of view, thereby obtaining a plurality of reference points.
  • a point is set.
  • the operator selects a visually identifiable characteristic point, such as a joint of a structure, and designates it as a reference point.
  • the operator visually identifies the same position of the subject captured in the camera image with the current angle of view and the camera image with the original angle of view, and designates it as a reference point.
  • FIG. 5A is a camera image with the original angle of view
  • FIG. 5B is a camera image with the current angle of view. There is a deviation in the angle of view.
  • Three reference points P1, P2, and P3 are associated with each of the camera image with the original angle of view shown in FIG. 5A and the camera image with the current angle of view shown in FIG. 5B. is set.
  • the three reference points P1, P2, and P3 on the camera image with the current angle of view shown in FIG. Affine transformation is performed on the camera image by the current angle of view shown in FIG. 5B so as to overlap the reference points P1, P2, and P3.
  • three reference points are set on the camera image in the example shown in FIG. 5, four or more reference points may be set on the camera image. In this case, for example, three of the set reference points may be used for image conversion processing.
  • the operator selects a visually identifiable characteristic point and designates it as a reference point to set the reference point. It is also possible to set the reference point by detecting a characteristic portion in the camera image.
  • FIG. 6 is a block diagram showing a schematic configuration of the monitoring server 3. As shown in FIG.
  • the monitoring server 3 includes a communication unit 11, a memory 12, and a processor 13.
  • the communication unit 11 communicates with the camera 1, the recorder 2, the fixed notification terminal 4, the warning light 5, and the mobile notification terminal 6 via the network.
  • the memory 12 stores programs and the like executed by the processor 13 .
  • the processor 13 executes a program stored in the memory 12 to perform various processes related to fall detection.
  • the processor 13 performs image acquisition processing, image conversion processing, on-track determination processing (second processing), railroad intrusion person detection processing (first processing), notification necessity determination processing, notification processing, and the like. conduct.
  • the processor 13 acquires camera images received from each camera 1 by the communication unit 11 .
  • Camera 1 transmits a camera image of the monitored area at a predetermined frame rate (eg, 5 fps).
  • the processor 13 converts the camera image with the current angle of view to the original angle of view (the angle of view at the time the image recognition model is constructed, such as at the time of installation) for the camera image in which the angle of view is shifted.
  • Reproduce the camera image by Specifically, based on the reference points set for each of the camera image at the current angle of view and the camera image at the original angle of view, affine transformation is performed to transform the camera image at the current angle of view into the original camera image. Convert to a camera image that approximates the camera image based on the angle of view.
  • the transformation is not limited to affine transformation, and perspective projection transformation, for example, may be used.
  • the processor 13 determines whether or not the train is stopped on the track along the platform based on each camera image. At this time, if image conversion processing has been performed on some of the camera images, the camera images that have been processed in the image conversion processing are used.
  • an image recognition model for determining the presence of a train is used in the train presence determination process.
  • an image recognition model for determining the presence of a train is used in the train presence determination process.
  • This on-rail determination processing is performed individually for each camera image to obtain a on-rail determination result for each camera image.
  • the image recognition model outputs a reliability score representing the likelihood of the image recognition result as a result of determining whether the train is on the train. It is also possible to acquire the on-rail determination result indicating whether or not the vehicle is on the road.
  • the processor 13 detects a person who crosses the detection line and moves from the platform side to the track side based on each camera image. At this time, if image conversion processing has been performed on some of the camera images, the camera images that have been processed in the image conversion processing are used.
  • the processor 13 first detects a person on the platform from the camera image (person detection process). Next, the processor 13 determines whether or not the detected person has crossed the detection line and moved from the platform side to the railroad side based on the detection result of the person detection processing (railway intrusion determination processing). This railroad intrusion person detection processing is performed individually for each camera image, and a railroad intrusion person detection result is obtained for each camera image.
  • the processor 13 detects a fall accident based on the railroad intruder detection result for each camera image acquired in the railroad intrusion person detection process and the railroad presence determination result for each camera image acquired in the railroad presence determination process. Determines whether or not it is necessary to notify the staff of the occurrence of
  • the person intruding on the track is determined to be a fallen person, and it is determined that it is necessary to notify the station staff.
  • the existence determination result regarding the camera image indicates that the person is on the railroad
  • the person intruding on the railroad track is determined as a passenger boarding the train, and it is determined that notification to the station attendant is unnecessary.
  • the processor 13 instructs the station staff to perform the notification process according to the determination result of the notification necessity determination process. Specifically, the fixed notification terminal 4, the warning light 5, and the mobile notification terminal 6 are caused to perform a notification operation to notify the station staff that there is a fallen person. As a mask function, the notification process is stopped in a time period designated by the administrator, such as a time period in which no trains are running.
  • FIG. 7 is an explanatory diagram showing a notification screen.
  • a notification screen is displayed as a notification operation to notify the station staff that there is a fallen person.
  • an alarm mark 31 is displayed to indicate that a fall detection notification is being issued.
  • a first camera image display section 32 and a second camera image display section 33 are provided on the notification screen.
  • the first camera image display section 32 displays the camera image at the time when the person intruding on the track is detected.
  • the second camera image display section 33 displays a camera image taken a predetermined time before the detection of the person intruding on the railroad track.
  • the camera images displayed on the first camera image display section 32 and the second camera image display section 33 are recorded by the recorder 2 and are acquired from the recorder 2 and displayed on the screen.
  • the camera image is displayed as a still image in the first camera image display section 32 .
  • the station staff operates the operation section 34 to reproduce and display the camera image as a moving image.
  • the station attendant can confirm the situation immediately after the person falls on the first camera image display section 32 .
  • the station attendant can confirm the situation from immediately before the person falls to during the fall on the second camera image display section 33 .
  • a log display section 35 is provided on the notification screen.
  • the log display section 35 displays a list of fall events detected in the past. Specifically, the date and time of reporting for each fall event, the name of the camera, and the like are displayed.
  • the camera images related to the selected fall accident are displayed in the first camera image display section 32 and the second camera image display section 33 .
  • the station attendant can select a fall event that has been detected in the past and check the situation of the fall event using the camera image.
  • the station staff can enter search conditions from a log search input screen (not shown), select a fall event from the logs hit by the search conditions, and confirm the situation of the fall event with a camera image. can be
  • the warning light 5 and the mobile notification terminal 6 perform predetermined notification operations according to instructions from the monitoring server 3 .
  • the warning light 5 notifies the station staff that a person has fallen by lighting the lamp and outputting an alarm sound as a notification operation.
  • the mobile notification terminal 6 notifies the station staff that a person has fallen by displaying a notification screen as a notification operation, outputting an alarm sound, or vibrating.
  • the notification screen of the mobile notification terminal 6 may display a camera image at the time when an intruder on the track is detected.
  • FIG. 8 is a flowchart showing the procedure of processing performed by the monitoring server 3. As shown in FIG.
  • the processor 13 acquires the camera image received from the camera 1 by the communication section 11 (ST101).
  • the processor 13 performs processing (image conversion processing) for reproducing a camera image with the original angle of view from the camera image with the current angle of view with respect to the camera 1 in which the angle of view deviation within the allowable range has occurred. (ST102).
  • the processor 13 inputs the camera image to the image recognition model for determining the presence of the train, and performs processing (track determination processing) to determine whether or not there is a train on the track along the platform ( ST103).
  • the processor 13 performs a process of detecting a person crossing the detection line and entering the railroad (railway intruder). person detection processing) is performed (ST105).
  • the processor 13 notifies the station staff (ST107). Specifically, the fixed notification terminal 4, the warning light 5, and the mobile notification terminal 6 are caused to perform a notification operation to notify the station staff that there is a fallen person.
  • the operator manually adjusts the state of the camera 1, and when the deviation of the angle of view falls within the allowable range, the fall detection process is resumed. can do. At this time, since it is not necessary to strictly perform the work of restoring the angle of view to the initial state, the maintenance work is facilitated.
  • the monitoring server 3 determines whether or not the angle of view deviation of the camera 1 exceeds a predetermined allowable range (state determination processing).
  • state determination processing determines whether or not the angle of view deviation of the camera 1 exceeds a predetermined allowable range.
  • the image conversion processing cannot be performed appropriately and the fall detection processing cannot be continued, so the station attendant is informed that the fall detection processing cannot be continued.
  • the fall detection process is continued because the image conversion process can be performed appropriately.
  • the station staff is notified that the fall detection process cannot be continued, maintenance work is carried out for the operator to adjust the state of the camera 1 .
  • the angle of view deviation of the camera 1 can be returned to within the allowable range.
  • the monitoring server 3 judges whether or not the deviation of the angle of view of the camera 1 is within the allowable range (state determination processing), thereby determining that the deviation of the angle of view of the camera 1 is within the allowable range. Then, the person in charge is notified that the fall detection process has returned to a state in which it can be restarted.
  • FIG. 9 is an explanatory diagram showing an overview of the state determination process.
  • FIG. 10 is an explanatory diagram showing an example of a case where the angle of view deviation of the camera 1 falls within the allowable range and a case where it exceeds the allowable range.
  • a plurality of (at least three) reference points that serve as references for image conversion processing are set on the camera image with the original angle of view. Also, in order to determine whether or not the deviation of the angle of view exceeds the allowable range, a state determination area including a plurality of reference points is set in the camera image of the original angle of view. In the example shown in FIG. 9, three reference points P1, P2 and P3 are set in the camera image, and a state determination area including these three reference points P1, P2 and P3 is set.
  • the monitoring server 3 If the monitoring server 3 cannot detect the state determination area from the camera image, that is, if the deviation of the angle of view of the camera 1 exceeds the allowable range continues for a predetermined time or longer, the monitoring server 3 notifies the staff that the fall detection process cannot be continued. Make an announcement to inform.
  • the predetermined time is set to, for example, one hour.
  • the state determination area in the camera image can be detected using an image recognition model (machine learning model) for state determination.
  • an image recognition model machine learning model
  • an area image obtained by cutting out the image of the state determination area from the camera image with the original angle of view is input to the image recognition model, and it is determined whether or not the area corresponding to the area image, that is, the state determination area has been detected.
  • a recognition result is output from the image recognition model.
  • FIG. 10(A) and (B) show the case where the angle of view of the camera 1 is shifted.
  • the state determination area including the three reference points P1, P2, and P3 can be detected from the camera image, it is determined that the angle of view deviation does not exceed the allowable range.
  • the state determination area including the three reference points P1, P2, and P3 cannot be detected from the camera image, it is determined that the angle of view deviation exceeds the allowable range.
  • the staff when the deviation of the angle of view exceeds the allowable range, the staff is notified that the intrusion detection process cannot be continued. It is possible to avoid leaving a state in which intrusion detection processing is not appropriately performed.
  • the state determination area when the state determination area cannot be detected from the camera image, it is determined that the angle of view deviation of the camera 1 exceeds the allowable range. If the amount of change in the position of the area is greater than or equal to a predetermined value, the image conversion processing cannot be performed appropriately, so it may be determined that the deviation of the angle of view of the camera 1 exceeds the allowable range.
  • the determination of whether the angle of view deviation of the camera 1 is within the allowable range an example of setting the state determination area has been described, but various methods other than this can be adopted. For example, depending on whether the amount of change in the position of the center of gravity of the triangle formed by the three reference points P1, P2, and P3 is less than a predetermined value or greater than or equal to a predetermined value, it determines whether the angle of view deviation of the camera 1 is within the allowable range. may be determined.
  • the embodiment has been described as an example of the technology disclosed in this application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments with modifications, replacements, additions, omissions, and the like. Further, it is also possible to combine the constituent elements described in the above embodiments to create new embodiments.
  • the monitoring device and monitoring system use an image recognition model without readjusting or re-learning parameters as long as the angle of view of the camera is deviated, as long as the deviation of the angle of view is within the allowable range. It has the effect of being able to accurately determine the presence of a person on a train, and based on camera images taken of the no-entry area where the vehicle is traveling and the boarding and alighting place, it detects and notifies that a person has entered the no-entry area. It is useful as a monitoring device, a monitoring system, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】カメラの画角がずれた場合でも、その画角ずれが許容範囲内であれば、パラメータの再調整や再学習を行うことなく、画像認識モデルを利用した在線判定を精度よく行えるものとする。 【解決手段】車両が走行する侵入禁止区域および乗降場所を撮影したカメラ画像に基づいて、乗降場所から侵入禁止区域に侵入した人物を検出する第１の処理（線路侵入人物検出処理）を行うと共に、カメラ画像に基づいて、侵入禁止区域における車両の有無を判定する第２の処理（在線判定処理）を行い、第１の処理の検出結果および第２の処理の判定結果の両方に基づいて報知の要否を判定し、さらに、カメラに画角ずれが発生した場合に、現在の画角によるカメラ画像から元の画角によるカメラ画像を再現する画像変換処理を行い、この画像変換処理で得られたカメラ画像を用いて第１の処理および第２の処理を行う。

Description

監視装置および監視システム
　本開示は、車両が走行する侵入禁止区域および乗降場所を撮影したカメラ画像に基づいて、侵入禁止区域に人物が侵入したことを検知して報知を行う監視装置および監視システムに関するものである。
　鉄道の駅では、利用者がホームから線路に転落することがあり、このような転落事故を早期に発見して、緊急停止の操作や救助などの必要な措置を迅速に実施することが望まれる。そこで、近年、ホームおよび線路を撮影したカメラ画像を利用して、ホームから線路に転落した転落者を検知して、転落者が発生したことを駅係員に報知する監視システムが提案されている。
　このような転落者を検知する監視システムとして、従来、ホームおよびホーム沿いの線路を撮影したカメラ画像に基づいて転落者を検知する際に、ホーム沿いの線路に存在する列車を転落者と誤って検知することを避けるため、ホーム沿いの線路に列車が存在する場合には、転落者を検知する処理を停止する技術が知られている（特許文献１参照）。
特許第５３８６７４４号公報
　様々な原因によりカメラの画角がずれることがある。例えば、パンチルト機能を有するカメラで誤操作が行われることで、カメラの画角がずれることがある。また、通過列車などに起因する振動により、カメラの画角がずれることがある。また、清掃や点検などの際に作業者がカメラに接触することで、カメラの画角がずれることがある。このようにカメラの画角がずれると、カメラの撮影範囲が変化する。
　一方、従来の技術では、テンプレートマッチングの手法を利用して、カメラ画像に基づいて、ホーム沿いの線路に列車が存在するか否かを判定する在線判定を行うが、この他に、ディープラーニングなどの機械学習により構築される画像認識モデル（機械学習モデル）を利用して在線判定を行うことができる。
　このような画像認識モデルを利用した在線判定では、カメラの画角がずれることで、カメラの撮影範囲が変化すると、在線判定の精度が大きく低下する。この場合、画像認識モデルのパラメータを再調整したり、画角がずれた後の状態で時間をかけて学習データを収集して再学習を行ったりすればよいが、これには大変手間がかかるという問題があった。
　そこで、本開示は、カメラの画角がずれた場合でも、その画角ずれが許容範囲内であれば、パラメータの再調整や再学習を行うことなく、画像認識モデルを利用した在線判定を精度よく行うことができる監視装置および監視システムを提供することを主な目的とする。
　本開示の監視装置は、車両が走行する侵入禁止区域および乗降場所を撮影するカメラから取得したカメラ画像に基づいて、前記侵入禁止区域に人物が侵入したことを検知して報知を指示するプロセッサを備えた監視装置であって、前記プロセッサは、前記カメラ画像に基づいて、前記乗降場所から前記侵入禁止区域に侵入した人物を検出する第１の処理を行うと共に、前記カメラ画像に基づいて、前記侵入禁止区域における前記車両の有無を判定する第２の処理を行い、前記第１の処理の検出結果および前記第２の処理の判定結果の両方に基づいて前記報知の要否を判定し、さらに、前記カメラに画角ずれが発生した場合に、現在の画角による前記カメラ画像から元の画角による前記カメラ画像を再現する画像変換処理を行い、この画像変換処理で得られた前記カメラ画像を用いて前記第１の処理および前記第２の処理を行う構成とする。
　また、本開示の監視システムは、前記監視装置と、前記侵入禁止区域および前記乗降場所を撮影するカメラと、前記監視装置からの指示に応じて所定の報知動作を行う報知装置と、を備えた構成とする。
　本開示によれば、画像変換処理により、現在の画角によるカメラ画像から元の画角によるカメラ画像が再現される。これにより、カメラの画角がずれた場合でも、その画角ずれが、画像変換処理が可能な許容範囲内であれば、手間のかかるパラメータの再調整や再学習を行うことなく、画像認識モデルを利用した在線判定を精度よく行うことができる。
第１実施形態に係る監視システムの全体構成図 第１実施形態に係るカメラの撮影状況を示す説明図 第１実施形態に係るカメラ画像上に設定される検知ラインおよび在線判定エリアを示す説明図 第１実施形態に係る監視サーバで行われる転落検知処理の概要を示す説明図 第１実施形態に係る監視サーバで行われる画像変換処理の概要を示す説明図 第１実施形態に係る監視サーバの概略構成を示すブロック図 第１実施形態に係る固定報知端末に表示される報知画面を示す説明図 第１実施形態に係る監視サーバで行われる処理の手順を示すフロー図 第２実施形態に係る監視サーバで行われる状態判定処理の概要を示す説明図 第２実施形態に係るカメラの画角ずれが許容範囲内に収まる場合と許容範囲を超える場合との一例を示す説明図
　前記課題を解決するためになされた第１の発明は、車両が走行する侵入禁止区域および乗降場所を撮影するカメラから取得したカメラ画像に基づいて、前記侵入禁止区域に人物が侵入したことを検知して報知を指示するプロセッサを備えた監視装置であって、前記プロセッサは、前記カメラ画像に基づいて、前記乗降場所から前記侵入禁止区域に侵入した人物を検出する第１の処理を行うと共に、前記カメラ画像に基づいて、前記侵入禁止区域における前記車両の有無を判定する第２の処理を行い、前記第１の処理の検出結果および前記第２の処理の判定結果の両方に基づいて前記報知の要否を判定し、さらに、前記カメラに画角ずれが発生した場合に、現在の画角による前記カメラ画像から元の画角による前記カメラ画像を再現する画像変換処理を行い、この画像変換処理で得られた前記カメラ画像を用いて前記第１の処理および前記第２の処理を行う構成とする。
　これによると、画像変換処理により、現在の画角によるカメラ画像から元の画角によるカメラ画像が再現される。これにより、カメラの画角がずれた場合でも、その画角ずれが、画像変換処理が可能な許容範囲内であれば、手間のかかるパラメータの再調整や再学習を行うことなく、画像認識モデルを利用した在線判定を精度よく行うことができる。
　また、第２の発明は、前記プロセッサは、現在の画角による前記カメラ画像および元の画角による前記カメラ画像の各々に互いに対応付けて設定された少なくとも３つの基準点を基準にして、前記画像変換処理を行う構成とする。
　これによると、画像変換処理を適切に行うことができるため、元の画角によるカメラ画像を精度よく再現することができる。
　また、第３の発明は、前記プロセッサは、前記第２の処理において、車両が存在する状態の前記カメラ画像と車両が存在しない状態の前記カメラ画像とを学習データとして予め学習させた画像認識モデルを用いて、前記車両の有無を判定する構成とする。
　これによると、精度の高い画像認識モデル（機械学習モデル）を構築して、車両の有無を精度よく判定することができる。
　また、第４の発明は、前記プロセッサは、前記画角ずれが所定の許容範囲に収まるか否かを判定し、前記画角ずれが前記許容範囲に収まる場合には、前記画像変換処理を実施して、侵入検知処理を継続し、前記画角ずれが前記許容範囲を越えた場合には、前記侵入検知処理を継続できない旨を係員に通知する処理を行う構成とする。
　これによると、カメラの画角ずれが許容範囲を越えた場合には、侵入検知処理を継続できない旨を係員に通知するため、カメラの状態を調整する保守作業が速やかに実施され、侵入検知処理が適切に実施されない状態が放置されることを避けることができる。
　また、第５の発明は、前記監視装置と、前記侵入禁止区域および前記乗降場所を撮影するカメラと、前記監視装置からの指示に応じて所定の報知動作を行う報知装置と、を備えた監視システムである。
　これによると、第１の発明と同様に、カメラの画角がずれた場合でも、その画角ずれが許容範囲内であれば、パラメータの再調整や再学習を行うことなく、画像認識モデルを利用した在線判定を精度よく行うことができる。
　以下、本開示の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
　図１は、第１実施形態に係る監視システムの全体構成図である。
　監視システムは、鉄道の駅においてホームから線路に転落する人物（転落者）を検知して、その旨を駅係員に報知するものである。この監視システムは、カメラ１と、レコーダ２（録画装置）と、監視サーバ３（監視装置）と、固定報知端末４（報知装置）と、警報灯５（報知装置）と、移動報知端末６（報知装置）と、を備えている。カメラ１、レコーダ２、監視サーバ３、固定報知端末４、警報灯５、および移動報知端末６は、ネットワークを介して相互に接続されている。
　カメラ１は、駅構内の所定の監視エリアごとに設置される。カメラ１は、監視エリアとして、ホームおよびホーム沿いの線路を撮影する。カメラ１は、監視エリアを撮影したカメラ画像を、ネットワークを介してレコーダ２や監視サーバ３に送信する。
　レコーダ２は、カメラ画像をカメラ１から取得して蓄積する。
　監視サーバ３は、駅構内の機器室やデータセンター等に設置される。監視サーバ３は、カメラ画像をカメラ１から取得して、ホームから線路に転落する人物（転落者）を検知する処理（転落検知処理）を行う。また、監視サーバ３は、転落者を検知すると、その旨を駅係員に報知する処理を行う。具体的には、固定報知端末４、警報灯５、および移動報知端末６に所定の報知動作を行うように指示する。なお、監視サーバ３の機能が、クラウドコンピュータにより実現されるものとしてもよい。
　固定報知端末４は、事務室などに設置される。固定報知端末４は、ＰＣに転落報知用のアプリケーションをインストールすることで実現することができる。固定報知端末４では、監視サーバ３からの指示に応じて、転落者がいることを駅係員に知らせる報知動作として、報知画面が表示される。
　警報灯５は、事務室などに設置される。この警報灯５では、監視サーバ３からの指示に応じて、転落者がいることを駅係員に知らせる報知動作として、ランプの点灯やアラーム音の出力が行われる。
　移動報知端末６は、スマートフォンやタブレット端末などのモバイル端末である。移動報知端末６は、現場に駆けつけて必要な措置を実行する駅係員が所持する。移動報知端末６では、監視サーバ３からの指示に応じて、転落者がいることを駅係員に知らせる報知動作として、報知画面の表示やアラーム音の出力や振動の出力が行われる。
　なお、本実施形態では、鉄道の駅のホームから利用者が線路に転落する事故を検知して係員に報知するものとしたが、鉄道の駅に限定されない。例えば、遊園地において、アトラクションの乗り物に利用者が乗り降りするデッキから乗り物の走行エリアに侵入（転落）する事故を検知して係員に報知するものとしてもよい。
　また、本実施形態では、鉄道の駅においてホームから線路に転落する転落者を検知して、転落者がいる旨を駅係員に報知するが、監視対象は人物に限定されず、荷物などの物体が線路に落下したことを検知して、落下物がある旨を駅係員に報知するものとしてもよい。
　次に、第１実施形態に係る監視サーバ３で行われる転落検知処理について説明する。図２は、カメラ１の撮影状況を示す説明図である。図３は、カメラ画像上に設定される検知ラインおよび在線判定エリアを示す説明図である。図４は、監視サーバ３で行われる転落検知処理の概要を示す説明図である。
　図２に示すように、カメラ１は、監視エリアとして、ホーム（乗降場所）およびホーム沿いの線路（侵入禁止区域）を撮影する。なお、カメラ１が複数設置されて、その複数のカメラ１により、ホームおよびホーム沿いの線路が漏れなく撮影されることで、転落検知処理における死角をなくして検知漏れを防止するものとしてもよい。
　図３に示すように、監視サーバ３は、ホームおよびホーム沿いの線路が写るカメラ画像を取得する。監視サーバ３は、カメラ画像に基づいて、ホームから線路に転落する人物（転落者）を検知して（転落検知処理）、転落事故が発生したことを駅係員に報知する。
　具体的には、図４に示すように、監視サーバ３は、カメラ画像に基づいて、ホームからホーム沿いの線路に侵入した人物を検出する線路侵入人物検出処理（第１の処理）を行うと共に、カメラ画像に基づいて、ホーム沿いの線路における列車（車両）の有無を判定する在線判定処理（第２の処理）を行い、線路侵入人物検出処理の検出結果および在線判定処理の判定結果の両方に基づいて報知の要否を判定する。
　ここで、ホーム沿いの線路に列車が存在する、すなわち、ホーム沿いの線路に列車が停車している場合や、ホーム沿いの線路を列車が走行している場合には、人物がホームから線路に侵入（転落）できない。また、ホーム沿いの線路に列車が停車している場合には、ホーム側から線路側に移動する人物がいても、その人物は列車に乗り込んだ乗客であり転落者ではない。
　そこで、本実施形態では、カメラ画像ごとの在線判定処理により、ホーム沿いの線路に列車が存在すると判定された場合には、そのカメラ画像を報知の対象から除外する。すなわち、ホーム沿いの線路に列車が存在しないと判定されたカメラ画像において、線路侵入人物検出処理により線路に侵入した人物を検出した場合に報知を指示する。
　また、本実施形態では、図３に示したように、カメラ画像内のホームと線路との境界に検知ラインが設定される。線路侵入人物検出処理では、検知ラインを横切って線路に侵入する人物を検出する。具体的には、カメラ画像からホーム上の人物を検出し（人物検出処理）、検出された人物が、検知ラインを横切ってホーム側から線路側に移動したか否かを判定する（線路侵入判定処理）。
　また、本実施形態では、図３に示したように、在線判定処理のために、予めカメラ画像上に矩形の在線判定エリアが設定される。この在線判定エリアは、カメラ画像において、ホーム沿いの線路に列車が存在する場合に、その列車の車体により覆われる線路の部分に設定される。在線判定処理では、カメラ画像から在線判定エリアの領域を切り出してエリア画像を取得し、そのエリア画像に基づいて、ホーム沿いの線路に列車が存在するか否かを判定する。
　また、在線判定処理は、画像認識モデル（機械学習モデル）を利用して行われる。カメラ画像から切り出された在線判定エリアの画像（エリア画像）を画像認識モデルに入力することで、画像認識モデルから出力される在線判定結果を取得する。在線判定用の画像認識モデルは、ホーム沿いの線路に列車が存在する状態でのエリア画像と、ホーム沿いの線路に列車が存在しない状態でのエリア画像とを学習データとして、教師あり学習を予め行うことで構築される。
　ところで、図２に示したように、様々な原因によりカメラ１の画角がずれることがある。例えば、パンチルト機能を有するカメラ１で誤操作が行われることで、カメラ１の画角がずれることがある。また、通過列車などに起因する振動により、カメラ１の画角がずれることがある。また、清掃や点検などの際に作業者がカメラ１に接触することで、カメラ１の画角がずれることがある。
　なお、本実施形態において、カメラ１の画角とは、カメラ１により実際に撮影される被写体の範囲を表し、撮影条件としてのカメラ１の向き（姿勢）に関するものであり、さらに、ズーム機能を有するカメラ１では、撮影条件としてのズーム倍率、すなわち、レンズの光軸を中心にした撮影範囲の広さが含まれる。
　このようにカメラ１の画角がずれると、カメラ１の撮影範囲が変化するため、カメラ画像上に設定された在線判定エリアに写る被写体がずれて、在線判定の精度が低下する。一方、在線判定処理は、画像認識モデル（機械学習モデル）を用いて行われる。このため、カメラ１の画角がずれると、技術者が画像認識モデルのパラメータを調整し直したり、あるいは、時間をかけて学習データを収集して学習をやり直したりする必要がある。しかしながら、このような手法は大変手間のかかるものであり、負担が大きい。
　そこで、本実施形態では、図４に示したように、カメラ１に画角ずれが発生した場合に、現在の画角によるカメラ画像から元の画角（設置時点などの画像認識モデルを構築した時点の画角）によるカメラ画像を再現する画像変換処理が行われ、この画像変換処理で得られたカメラ画像を用いて線路侵入人物検出処理（第１の処理）および在線判定処理（第２の処理）が行われる。これにより、パラメータの再調整や再学習を行うことなく、画像認識モデルを利用した在線判定を精度よく行うことができる。
　次に、第１実施形態に係る監視サーバ３で行われる画像変換処理について説明する。図５は、画像変換処理の概要を示す説明図である。
　画像変換処理を実施するにあたっては、現在の画角によるカメラ画像と、元の画角によるカメラ画像との各々に、複数（少なくとも３つ）の基準点が、互いに対応付けて設定され、その基準点を基準にして、画像変換処理としてアフィン変換が行われる。なお、アフィン変換に限定されず、例えば透視投影変換などを用いるものとしてもよい。
　本実施形態では、作業者が、現在の画角によるカメラ画像と、元の画角によるカメラ画像との両方に対して、複数の基準点の位置を入力する操作を行うことで、複数の基準点が設定される。このとき、作業者が、構造物の継ぎ目など、目視で識別可能な特徴のある点を選択して基準点に指定する。また、作業者が、現在の画角によるカメラ画像と、元の画角によるカメラ画像との各々に写る被写体の同一の位置を目視で識別して基準点として指定する。
　図５（Ａ）は、元の画角によるカメラ画像であり、図５（Ｂ）は、現在の画角によるカメラ画像であり、現在の画角によるカメラ画像では、元の画角によるカメラ画像に対して画角ずれが発生している。
　図５（Ａ）に示す元の画角によるカメラ画像と、図５（Ｂ）に示す現在の画角によるカメラ画像の各々には、３つ基準点Ｐ１，Ｐ２，Ｐ３が、互いに対応付けて設定されている。画像変換処理では、図５（Ｂ）に示す現在の画角によるカメラ画像上の３つ基準点Ｐ１，Ｐ２，Ｐ３が、図５（Ａ）に示す元の画角によるカメラ画像上の３つ基準点Ｐ１，Ｐ２，Ｐ３に重なるように、図５（Ｂ）に示す現在の画角によるカメラ画像に対してアフィン変換が行われる。
　なお、図５に示す例では、カメラ画像上に３つの基準点が設定されるが、カメラ画像上に基準点が４つ以上設定されるものとしてもよい。この場合、例えば、設定された基準点のうちの３点を画像変換処理に利用するものとしてもよい。
　また、本実施形態では、作業者が、目視で識別可能な特徴のある点を選択して基準点として指定することで、基準点が設定されるものとしたが、監視サーバ３が、画像認識によりカメラ画像内の特徴のある部分を検出して基準点を設定するものとしてもよい。
　次に、第１実施形態に係る監視サーバ３の概略構成について説明する。図６は、監視サーバ３の概略構成を示すブロック図である。
　監視サーバ３は、通信部１１と、メモリ１２と、プロセッサ１３と、を備えている。
　通信部１１は、ネットワークを介して、カメラ１、レコーダ２、固定報知端末４、警報灯５、および移動報知端末６との間で通信を行う。
　メモリ１２は、プロセッサ１３で実行されるプログラムなどを記憶する。
　プロセッサ１３は、メモリ１２に記憶されたプログラムを実行することで転落検知に係る各種の処理を行う。本実施形態では、プロセッサ１３が、画像取得処理、画像変換処理、在線判定処理（第２の処理）、線路侵入人物検出処理（第１の処理）、報知要否判定処理、および報知処理などを行う。
　画像取得処理では、プロセッサ１３が、通信部１１により各カメラ１から受信したカメラ画像を取得する。カメラ１では、所定のフレームレート（例えば５ｆｐｓ）で監視エリアを撮影したカメラ画像が送信される。
　画像変換処理では、プロセッサ１３が、画角ずれが発生したカメラ画像を対象にして、現在の画角によるカメラ画像から元の画角（設置時点などの画像認識モデルを構築した時点の画角）によるカメラ画像を再現する。具体的には、現在の画角によるカメラ画像および元の画角によるカメラ画像の各々に設定された基準点に基づいて、アフィン変換を実行して、現在の画角によるカメラ画像を、元の画角によるカメラ画像に近似するカメラ画像に変換する。なお、アフィン変換に限定されず、例えば透視投影変換などを用いてもよい。
　在線判定処理では、プロセッサ１３が、各カメラ画像に基づいて、ホーム沿いの線路に列車が停車しているか否かを判定する。このとき、一部のカメラ画像に関して画像変換処理が行われた場合には、その画像変換処理で処理済みのカメラ画像が用いられる。
　また、在線判定処理では、在線判定用の画像認識モデル（機械学習モデル）が用いられる。カメラ画像上に設定された在線判定エリアの画像（エリア画像）をカメラ画像から切り出して、そのエリア画像を在線判定用の画像認識モデルに入力することで、画像認識モデルから在線判定結果が出力される。この在線判定処理は、カメラ画像ごとに個別に実施され、カメラ画像ごとの在線判定結果を得る。
　なお、画像認識モデルから在線判定結果として、画像認識結果の確からしさを表す信頼度スコアが出力され、この信頼度スコアを所定のしきい値と比較して、ホーム沿いの線路に列車が停車しているか否かを表す在線判定結果を取得するものとしてもよい。
　線路侵入人物検出処理では、プロセッサ１３が、各カメラ画像に基づいて、検知ラインを横切ってホーム側から線路側に移動する人物を検出する。このとき、一部のカメラ画像に関して画像変換処理が行われた場合には、その画像変換処理で処理済みのカメラ画像が用いられる。
　また、線路侵入人物検出処理では、まず、プロセッサ１３が、カメラ画像からホーム上の人物を検出する（人物検出処理）。次に、プロセッサ１３が、人物検出処理の検出結果に基づいて、検出された人物が、検知ラインを横切ってホーム側から線路側に移動したか否かを判定する（線路侵入判定処理）。この線路侵入人物検出処理は、カメラ画像ごとに個別に実施され、カメラ画像ごとの線路侵入人物検出結果を得る。
　報知要否判定処理では、プロセッサ１３が、線路侵入人物検出処理で取得したカメラ画像ごとの線路侵入人物検出結果と、在線判定処理で取得したカメラ画像ごとの在線判定結果とに基づいて、転落事故の発生を係員に知らせる報知の要否を判定する。
　ここで、在線判定結果が在線でないカメラ画像に関して、線路侵入人物が検出された場合には、線路侵入人物を転落者と判断して、駅係員に対する報知が必要と判定する。一方、線路侵入人物が検出された場合でも、そのカメラ画像に関する在線判定結果が在線である場合には、線路侵入人物を列車に乗り込む乗客と判断して、駅係員に対する報知が不要と判定する。
　報知処理では、プロセッサ１３が、報知要否判定処理の判定結果に応じて、駅係員に対する報知処理を指示する。具体的には、固定報知端末４、警報灯５、および移動報知端末６に、転落者がいることを駅係員に知らせる報知動作を行わせる。なお、マスク機能として、例えば列車の運行がない時間帯など、管理者が指定した時間帯では、報知処理が停止される。
　次に、第１実施形態に係る固定報知端末４に表示される報知画面について説明する。図７は、報知画面を示す説明図である。
　固定報知端末４では、監視サーバ３からの指示に応じて、転落者がいることを駅係員に知らせる報知動作として、報知画面が表示される。
　報知画面には、転落検知発報中であることを表すアラームマーク３１が表示される。
　また、報知画面には、第１のカメラ画像表示部３２と第２のカメラ画像表示部３３とが設けられている。第１のカメラ画像表示部３２には、線路侵入人物を検出した時点のカメラ画像が表示される。第２のカメラ画像表示部３３には、線路侵入人物を検出した時点より所定時間前のカメラ画像が表示される。第１のカメラ画像表示部３２および第２のカメラ画像表示部３３に表示されるカメラ画像は、レコーダ２に録画されたものであり、レコーダ２から取得して画面表示される。また、第１のカメラ画像表示部３２では、カメラ画像が静止画として表示される。一方、第２のカメラ画像表示部３３では、駅係員が操作部３４を操作することで、カメラ画像が動画として再生表示される。これにより、駅係員が、第１のカメラ画像表示部３２において、人物が転落した直後の状況を確認することができる。また、駅係員が、第２のカメラ画像表示部３３において、人物が転落する直前から転落する最中の状況を確認することができる。
　また、報知画面には、ログ表示部３５が設けられている。ログ表示部３５には、過去に検知された転落事象が一覧表示される。具体的には、転落事象ごとの発報日時、およびカメラ名称などが表示される。ログ表示部３５に表示された転落事故のいずれかを選択すると、その選択された転落事故に関するカメラ画像が、第１のカメラ画像表示部３２および第２のカメラ画像表示部３３に表示される。これにより、駅係員が、過去に検知された転落事象を選択して、その転落事象の状況をカメラ画像により確認することができる。また、駅係員が、ログの検索入力画面（図示せず）から検索条件を入力し、その検索条件でヒットしたログから転落事象を選択して、その転落事象の状況をカメラ画像により確認できるようにしてもよい。
　このように固定報知端末４において報知画面が表示されると、同時に、警報灯５および移動報知端末６において、監視サーバ３からの指示に応じて、所定の報知動作が行われる。警報灯５では、報知動作としてのランプの点灯およびアラーム音の出力により、転落者が発生したことを駅係員に報知する。また、移動報知端末６では、報知動作としての報知画面の表示やアラーム音の出力や振動により、転落者が発生したことを駅係員に報知する。なお、移動報知端末６の報知画面では、線路侵入人物を検出した時点のカメラ画像が表示されるものとしてもよい。
　次に、第１実施形態に係る監視サーバ３で行われる処理の手順について説明する。図８は、監視サーバ３で行われる処理の手順を示すフロー図である。
　監視サーバ３では、まず、プロセッサ１３が、通信部１１によりカメラ１から受信したカメラ画像を取得する（ＳＴ１０１）。
　次に、プロセッサ１３が、許容範囲内の画角ずれが発生したカメラ１を対象にして、現在の画角によるカメラ画像から元の画角によるカメラ画像を再現する処理（画像変換処理）を行う（ＳＴ１０２）。
　次に、プロセッサ１３が、カメラ画像を在線判定用の画像認識モデルに入力して、ホーム沿いの線路に列車が存在する在線状態であるか否かを判定する処理（在線判定処理）を行う（ＳＴ１０３）。
　次に、在線判定処理の判定結果が在線でない場合には（ＳＴ１０４でＮｏ）、次に、プロセッサ１３が、検知ラインを横切って線路に侵入する人物（線路侵入人物）を検出する処理（線路侵入人物検出処理）を行う（ＳＴ１０５）。
　次に、線路侵入人物検出処理の検出結果が、線路侵入人物が存在する場合には（ＳＴ１０６でＹｅｓ）、プロセッサ１３が、駅係員に対する報知処理を行う（ＳＴ１０７）。具体的には、固定報知端末４、警報灯５、および移動報知端末６に、転落者がいることを駅係員に知らせる報知動作を行わせる。
　ところで、画角ずれが許容範囲に収まる状態（基準点の変動量が小さい）では、画像変換処理を適切に行うことができるため、転落検知処理を継続することができるが、画角ずれが許容範囲を超える状態（基準点の変動量が大きい）では、画像変換処理を適切に行うことができないため、転落検知を無理に継続すると、誤報が頻発する。このため、画角ずれが許容範囲を超える状態になった場合には、転落検知処理を停止する必要がある。
　一方、画角ずれが許容範囲を超える状態になった場合でも、作業者が手作業でカメラ１の状態を調整することで、画角ずれが許容範囲に収まる状態になると、転落検知処理を再開することができる。このとき、画角を初期状態に復元する作業を厳密に実施しなくても済むことから、保守作業が容易になる。
（第２実施形態）
　次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。
　本実施形態では、監視サーバ３が、カメラ１の画角ずれが所定の許容範囲を超えるか否かを判定する（状態判定処理）。ここで、カメラ１の画角ずれが許容範囲を超える場合には、画像変換処理を適切に実施できず、転落検知処理を継続できないことから、転落検知処理を継続できない旨を駅係員に報知する。一方、カメラ１の画角ずれが許容範囲内に収まる状態の場合には、画像変換処理を適切に実施できるため、転落検知処理が継続される。
　また、転落検知処理を継続できない旨の報知が駅係員に対して行われると、作業者がカメラ１の状態を調整する保守作業が実施される。これにより、カメラ１の画角ずれが許容範囲内に収まる状態に戻すことができる。このとき、監視サーバ３では、カメラ１の画角ずれが許容範囲内に収まる状態か否かの判定（状態判定処理）により、カメラ１の画角ずれが許容範囲内に収まる状態であると判定されて、転落検知処理を再開できる状態に戻った旨を係員に報知する。
　次に、第２実施形態に係る監視サーバ３で行われる状態判定処理について説明する。図９は、状態判定処理の概要を示す説明図である。図１０は、カメラ１の画角ずれが許容範囲内に収まる場合と許容範囲を超える場合との一例を示す説明図である。
　図９に示すように、本実施形態では、元の画角によるカメラ画像上に、画像変換処理の基準となる複数（少なくとも３つ）の基準点が設定される。また、画角ずれが許容範囲を超える状態か否かを判定するため、元の画角によるカメラ画像に、複数の基準点を含む状態判定エリアが設定される。図９に示す例では、カメラ画像に、３つ基準点Ｐ１，Ｐ２，Ｐ３が設定されると共に、この３つ基準点Ｐ１，Ｐ２，Ｐ３を含む状態判定エリアが設定される。
　監視サーバ３では、カメラ画像から状態判定エリアを検出できない状態、すなわち、カメラ１の画角ずれが許容範囲を超える状態が、所定時間以上継続した場合に、転落検知処理を継続できない旨を係員に知らせる報知を行う。ここで、駅のホームのように人通りが多い場所では、状態判定エリアの一部が人物に隠れて見えなくなる状態が頻発するため、所定時間は、例えば１時間に設定される。
　カメラ画像内の状態判定エリアの検出は、状態判定用の画像認識モデル（機械学習モデル）を利用して行うことができる。この場合、元の画角によるカメラ画像から状態判定エリアの画像を切り出して得られるエリア画像を画像認識モデルに入力し、エリア画像に相当する領域、すなわち、状態判定エリアが検出されたか否かの認識結果が、画像認識モデルから出力される。
　図１０（Ａ），（Ｂ）は、カメラ１の画角がずれた場合である。このうち、図１０（Ａ）に示す例では、カメラ画像から３つ基準点Ｐ１，Ｐ２，Ｐ３を含む状態判定エリアを検出できるため、画角ずれが許容範囲を超える状態でないと判定される。一方、図１０（Ｂ）に示す例では、カメラ画像から３つ基準点Ｐ１，Ｐ２，Ｐ３を含む状態判定エリアを検出できないため、画角ずれが許容範囲を超える状態であると判定される。
　このように本実施形態では、画角ずれが許容範囲を越えた場合には、侵入検知処理を継続できない旨を係員に通知するため、カメラ１の状態を調整する保守作業が速やかに実施され、侵入検知処理が適切に実施されない状態が放置されることを避けることができる。
　なお、本実施形態では、カメラ画像から状態判定エリアを検出できない場合に、カメラ１の画角ずれが許容範囲を超えるものと判定したが、カメラ画像から状態判定エリアを検出できる場合でも、状態判定エリアの位置の変化量が所定値以上となる場合には、画像変換処理を適切に実施できないことから、カメラ１の画角ずれが許容範囲を超えるものと判定するようにしてもよい。
　また、カメラ１の画角ずれが許容範囲内か否かの判定に関して、状態判定エリアを設定する例を説明したが、これ以外の種々の方法を採用することができる。例えば、３つの基準点Ｐ１，Ｐ２，Ｐ３で形成される三角形の重心の位置の変化量が所定値未満か、所定値以上であるかによって、カメラ１の画角ずれが許容範囲内か否かを判定してもよい。
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　本開示に係る監視装置および監視システムは、カメラの画角がずれた場合でも、その画角ずれが許容範囲内であれば、パラメータの再調整や再学習を行うことなく、画像認識モデルを利用した在線判定を精度よく行うことができる効果を有し、車両が走行する侵入禁止区域および乗降場所を撮影したカメラ画像に基づいて、侵入禁止区域に人物が侵入したことを検知して報知を行う監視装置および監視システムなどとして有用である。
１　カメラ
２　レコーダ
３　監視サーバ（監視装置）
４　固定報知端末（報知装置）
５　警報灯（報知装置）
６　移動報知端末（報知装置）
１１　通信部
１２　メモリ
１３　プロセッサ
Ｐ１，Ｐ２，Ｐ３　基準点

Claims (5)

  1. 　車両が走行する侵入禁止区域および乗降場所を撮影するカメラから取得したカメラ画像に基づいて、前記侵入禁止区域に人物が侵入したことを検知して報知を指示するプロセッサを備えた監視装置であって、
    　前記プロセッサは、
    　前記カメラ画像に基づいて、前記乗降場所から前記侵入禁止区域に侵入した人物を検出する第１の処理を行うと共に、
    　前記カメラ画像に基づいて、前記侵入禁止区域における前記車両の有無を判定する第２の処理を行い、
    　前記第１の処理の検出結果および前記第２の処理の判定結果の両方に基づいて前記報知の要否を判定し、
    　さらに、前記カメラに画角ずれが発生した場合に、現在の画角による前記カメラ画像から元の画角による前記カメラ画像を再現する画像変換処理を行い、この画像変換処理で得られた前記カメラ画像を用いて前記第１の処理および前記第２の処理を行うことを特徴とする監視装置。
  2. 　前記プロセッサは、
    　現在の画角による前記カメラ画像および元の画角による前記カメラ画像の各々に互いに対応付けて設定された少なくとも３つの基準点を基準にして、前記画像変換処理を行うことを特徴とする請求項１に記載の監視装置。
  3. 　前記プロセッサは、
    　前記第２の処理において、車両が存在する状態の前記カメラ画像と車両が存在しない状態の前記カメラ画像とを学習データとして予め学習させた画像認識モデルを用いて、前記車両の有無を判定することを特徴とする請求項１に記載の監視装置。
  4. 　前記プロセッサは、
    　前記画角ずれが所定の許容範囲に収まるか否かを判定し、
    　前記画角ずれが前記許容範囲に収まる場合には、前記画像変換処理を実施して、侵入検知処理を継続し、
    　前記画角ずれが前記許容範囲を越えた場合には、前記侵入検知処理を継続できない旨を係員に通知する処理を行うことを特徴とする請求項１に記載の監視装置。
  5. 　請求項１ないし請求項４のいずれかに記載の監視装置と、
    　前記侵入禁止区域および前記乗降場所を撮影するカメラと、
    　前記監視装置からの指示に応じて所定の報知動作を行う報知装置と、
    を備えた監視システム。
PCT/JP2022/014458 2021-04-12 2022-03-25 監視装置および監視システム WO2022220072A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021067354A JP2022162473A (ja) 2021-04-12 2021-04-12 監視装置および監視システム
JP2021-067354 2021-04-12

Publications (1)

Publication Number Publication Date
WO2022220072A1 true WO2022220072A1 (ja) 2022-10-20

Family

ID=83640636

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014458 WO2022220072A1 (ja) 2021-04-12 2022-03-25 監視装置および監視システム

Country Status (2)

Country Link
JP (1) JP2022162473A (ja)
WO (1) WO2022220072A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03205999A (ja) * 1989-10-20 1991-09-09 Hitachi Ltd 監視装置
JPH0926472A (ja) * 1995-07-11 1997-01-28 East Japan Railway Co 駅ホーム転落者検知装置
JP2011166243A (ja) * 2010-02-05 2011-08-25 Hitachi Kokusai Electric Inc 監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03205999A (ja) * 1989-10-20 1991-09-09 Hitachi Ltd 監視装置
JPH0926472A (ja) * 1995-07-11 1997-01-28 East Japan Railway Co 駅ホーム転落者検知装置
JP2011166243A (ja) * 2010-02-05 2011-08-25 Hitachi Kokusai Electric Inc 監視システム

Also Published As

Publication number Publication date
JP2022162473A (ja) 2022-10-24

Similar Documents

Publication Publication Date Title
CN110085029B (zh) 基于轨道式巡检机器人的高速公路巡检系统与方法
WO2017047688A1 (ja) 落下物検知追跡システム
CN110532951B (zh) 一种基于区间位移的地铁乘客异常行为分析方法
EP1943612B1 (en) Video image track supervision system
JP6829165B2 (ja) 監視システム及び監視方法
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
KR100750347B1 (ko) 스테레오비디오 카메라를 이용한 지하철 승강장 모니터링시스템
KR20090118582A (ko) 돌발상황 감시 시스템
JP2007195130A (ja) 映像監視システム
KR100916960B1 (ko) 승강장 모니터링 시스템
JP2006202225A (ja) 事故検出装置
KR100690279B1 (ko) 다목적 영상감지 시스템
CN211630273U (zh) 用于铁路环境的图像智能识别装置
JP2023126352A (ja) プログラム、映像監視方法及び映像監視システム
JPWO2018173694A1 (ja) 監視システム及び監視方法
WO2022220072A1 (ja) 監視装置および監視システム
KR20110105566A (ko) 영상처리기술을 이용한 에스컬레이터 모니터링 시스템
JPH08180276A (ja) 障害物検知方法及びその装置
JP2006285399A (ja) 交差点における車両の動きを監視するための映像監視方法及び装置
JPH09182061A (ja) 画像による安全監視方法
JPH1144200A (ja) 道路トンネル総合監視制御装置
JP3681175B1 (ja) 位置情報を利用した監視システム
KR20230097854A (ko) 발전소내 작업자의 위험행동 인지방법 및 시스템
JP2022162478A (ja) 監視装置および監視システム
JP3611851B1 (ja) 位置情報を利用した監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22787997

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18286393

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22787997

Country of ref document: EP

Kind code of ref document: A1