WO2009152766A1 - 嵌入式计算机视觉自动扶梯人流监察警报装置 - Google Patents

嵌入式计算机视觉自动扶梯人流监察警报装置 Download PDF

Info

Publication number
WO2009152766A1
WO2009152766A1 PCT/CN2009/072310 CN2009072310W WO2009152766A1 WO 2009152766 A1 WO2009152766 A1 WO 2009152766A1 CN 2009072310 W CN2009072310 W CN 2009072310W WO 2009152766 A1 WO2009152766 A1 WO 2009152766A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
escalator
computer vision
embedded computer
flow monitoring
Prior art date
Application number
PCT/CN2009/072310
Other languages
English (en)
French (fr)
Inventor
刘汉光
Original Assignee
上海阿艾依智控系统有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海阿艾依智控系统有限公司 filed Critical 上海阿艾依智控系统有限公司
Publication of WO2009152766A1 publication Critical patent/WO2009152766A1/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B29/00—Safety devices of escalators or moving walkways
    • B66B29/005—Applications of security monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to a monitoring and alarming device, and more particularly to an escalator flow monitoring and alarming device implemented by an embedded computer for use in escalator safety management. Background technique
  • Escalators are widely used frequently in today's society. Coupled with the accelerated pace of modern life, people's time concept is very strong. The situation of scrambling in public places such as shopping mall escalators and subway entrances is particularly serious, and the chances of major accidents are greatly increased.
  • Frequent accidents are mainly caused by passengers rushing up or down and pushing on the escalator.
  • passengers rushed into the car when the subway door was about to close or was closing, causing the door not to close or even the passenger to be pinched.
  • the passenger knows on the escalator that the train has arrived at the platform, it is more likely to run down and rush into the compartment.
  • the passengers will rush to take the escalator as soon as the door opens, hoping to rush to the ground and leave the station as soon as possible. This type of condition increases the risk factor when people take the escalator and is prone to falls or bruises.
  • Another safety incident occurs when passengers push into the entrance of the escalator.
  • the 2007 Consumer Council report was very concerned about escalator-related accidents.
  • the total number of escalators increased from 5,749 in 2003 to 6,778 in 2006.
  • the number of escalator accidents in 2003 increased from 600 cases (or an average of 1.6 cases per day) to 1,092 cases in 2006 (or an average of 2.99 cases per day;).
  • the escalator in Shanghai Xinzhuang subway station in 2006 Because it was too crowded, the load was too heavy, and it suddenly turned down on the way up, causing more than 10 injuries.
  • the object of the present invention is to solve the above problems, and provide an embedded computer vision escalator flow monitoring and alarming device, which can monitor and alarm the escalator flow, and effectively protect the passenger safety on the escalator.
  • the technical solution of the present invention is as follows:
  • the present invention discloses an embedded computer vision escalator flow monitoring and alarming device, including:
  • An image acquisition device that takes in a visual image of the escalator
  • Embedded computer vision escalator flow monitoring system including:
  • Computer vision monitoring module including:
  • the image acquisition sub-module collects the visual image of the passenger on the escalator; the storage sub-module, and the built-in visual video storage database stores the collected visual video; The analysis sub-module analyzes the collected visual image;
  • Comparing the engine comparing the analysis value of the analysis sub-module with a preset safety range; the alarm operation module, sending a warning signal to the passenger of the abnormal behavior conclusion made by the comparison engine;
  • the alarm device performs an action of alerting according to the warning signal.
  • embedded computer visual escalator flow monitoring alarm system further comprises:
  • the module monitoring engine monitors the operating status of each module in the device.
  • the module running status reports the sub-module, which extracts its current running status to each module in the device, establishes a fault log, and transmits the fault status information.
  • the automatic repair submodule repairs the faulty module without disturbing the system application or business program based on the predicted improper operation.
  • embedded computer visual escalator flow monitoring alarm system further comprises:
  • the embedded WEB service module provides information obtained by the device to the remote peripheral through the local area network.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device, wherein the embedded computer visual escalator flow monitoring alarm system further comprises:
  • An embedded Bluetooth wireless network contact module wirelessly transmits information obtained by the device.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device wherein the storage sub-module further comprises:
  • analysis sub-module further comprises:
  • the intelligent selection module automatically covers the non-elevator image, and judges the slope and type of the escalator according to the escalator image, and automatically selects the corresponding preset safety range parameter.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device wherein the analysis submodule The block also includes:
  • the image area setting module freely selects or defines an image area of a specific monitoring scene range.
  • the escalator speed and running direction analysis sub-module detects the real-time speed and running direction of the escalator.
  • analysis sub-module further comprises:
  • the individual passenger speed, motion trajectory and direction analysis sub-modules analyze the relative motion speed and trajectory of the passenger.
  • analysis sub-module further comprises:
  • the passenger flow blocking and congestion rate analysis sub-module analyzes the passenger flow and passenger flow density through the selected area per unit time.
  • analysis sub-module further comprises:
  • the measurement sub-module continuously tests the analyzed image data to correct image distortion and aberrations.
  • the embedded computer vision escalator flow monitoring and alarming device wherein the comparison engine compares the individual passenger speed, the motion trajectory and the direction analysis sub-module to the individual passenger speed, the motion trajectory and the preset safety range parameter. Yes, if the analyzed parameter deviates from the safety range parameter, an alarm command is sent to the alarm running module.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device wherein the comparison engine compares the passenger flow per unit time and the passenger flow density analyzed by the congestion flow analysis sub-module with the preset safety range parameter If the analyzed parameter deviates from the safety range parameter, an alarm command is sent to the alarm running module.
  • the alarm running module further comprises a voice alarm control sub-module, which alerts the passenger by means of a voice signal; the alarm device further comprises a voice alarm, and the voice alarm control is received
  • the alarm signal of the submodule is followed by a voice alarm action.
  • the alarm running module further comprises a flashing alarm control sub-module, which alerts the passenger by means of an optical signal; the alarm device Further, the flashing alarm is provided, and the flashing alarm action is performed after receiving the warning signal of the flashing alarm control sub-module.
  • the embedded computer vision escalator flow monitoring alarm device wherein the embedded WEB service module further comprises:
  • the reporting sub-module sends the comparison result to the remote peripheral.
  • the embedded computer vision escalator flow monitoring alarm device wherein the embedded WEB service module further comprises:
  • the parameter setting sub-module is used by the manager to input relevant parameters of each module in the device.
  • the embedded computer vision escalator flow monitoring alarm device wherein the embedded WEB service module further comprises:
  • Upgrade submodules to upgrade firmware and software via a local port or remote network.
  • the embedded computer vision escalator flow monitoring alarm device wherein the embedded WEB service module further comprises:
  • the download data sub-module is extracted, the download data is extracted, and the relevant data download link is automatically established.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device wherein the image capturing device further comprises a light source device.
  • the above-mentioned embedded computer vision escalator flow monitoring and alerting device wherein the image capturing device comprises a plurality of cameras with a calibrated viewing range and a focal length, which are convenient for simultaneously acquiring video of a plurality of cameras to monitor the passengers to stand still or walk in the escalator Throughout the journey, the flow of people in the designated time zone and the designated area is obtained.
  • the cameras also have a fault recovery function, which automatically restarts after the embedded computer vision escalator flow monitoring alarm system fails.
  • the embedded computer vision escalator flow monitoring and alarming device wherein the embedded WEB service module further comprises a video area setting module, wherein the video area setting module further comprises a video segmentation module, in the selected video area Set up as a section, split into a number of escalator videos of different running speeds and directions.
  • the video area setting module further includes a video merging module, and a plurality of different video areas are selected and merged into one scene at the same zoom ratio.
  • the video area setting module further comprises a five-fold operation module
  • the first aspect is for the user to select different video areas
  • the second aspect is for the user to select Different modules included in the analysis sub-module in different video regions Block
  • the third aspect is for users to perform video playback operations
  • the fourth aspect is for users to monitor images and audio through the network
  • the fifth aspect displays real-time passenger speed and its speed indication arrow in the analysis sub-module, passenger flow blocking, Crowding rate, number of passengers and their speed maps, number of passengers holding the handrails and their indications, squares, individual passengers' turning speed, number of people in the trajectory and angular direction, speed indicator arrows, number of items exceeding the set value, and Indicates the figure and the number of people sitting on or climbing the handrail and the inner and outer covers and their indications.
  • the storage sub-module further comprises an audio recording storage database, respectively storing real-time audio signals for each monitoring scene, recording the recording date associated with the audio signal, and off-hook The time, the on-hook time, and the current recording time are also stored during the preset time period before and after the abnormal audio is stored while the audio recording is being stored.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device wherein the parameter setting sub-module is used by the management personnel to input relevant parameters including visual and audio monitoring scenes, visual audio recording and playback, hard disk full parameters, video recording time, storage Space, backup time, backup space, group management, encrypted password settings, modify and prevent others from stealing bandwidth leaks.
  • analysis sub-module further comprises:
  • the passenger number comprehensive analysis sub-module calculates the number of arrivals and time periods in the area of the escalator entrance and exit, and outputs to the comparison engine for comparison with the preset safety range.
  • analysis sub-module further comprises:
  • analysis sub-module further comprises:
  • the item analysis sub-module determines whether the item is too large by calculating the size of the item and comparing it with a preset value.
  • analysis sub-module further comprises:
  • the intrusion prohibition area analysis sub-module provides an external interface to input the image range of the prohibited area, and determines whether a passenger appears in the prohibited area. If the passenger appears in the prohibited area, the alarm operation module is instructed to issue a warning signal.
  • the individual passenger turns to the analysis sub-module, and calculates the angular velocity vector of the passenger's rotating shaft to identify and track the turning speed, the trajectory and the angular direction of the passenger when the escalator is running, and output to the comparison engine for comparison with the preset safety range. Correct.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device wherein the device further comprises:
  • the comprehensive analysis and statistics module comprehensively analyzes and counts the number of people entering and exiting the escalator and abnormal behaviors in the image area of the specific monitoring scene range defined by the image area setting module, and comprehensively analyzes statistics including individual passenger speed, motion track and direction. Passenger flow congestion and congestion rate, number of passengers at different times, number of passengers holding the handrail, individual passenger turn speed, trajectory and angular direction.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device wherein the visual recording storage database is used for storing abnormal visual recordings, storing visual recording related recording dates, off-hook time, on-hook time and current recording while storing visual recordings Time, when storing abnormal visual recordings, it is also necessary to store visual recordings within a preset time period before and after abnormal recording.
  • the above-mentioned embedded computer vision escalator flow monitoring and alarming device wherein the recording date, the off-hook time, the on-hook time and the current recording time of the audio recording in the visual recording and audio recording storage database in the visual recording storage database are synchronized.
  • the audio recordings in the visual recording storage database and the audio recordings in the audio recording storage database are played synchronously.
  • the present invention stores and analyzes these visual images (videos) by collecting visual images of passengers on the escalator, and compares the analysis values of the images with the preset by the comparison engine.
  • the safety range is compared, and an abnormal behavior corresponding to a value outside the safety range is given a warning signal to the passenger while interacting with the remote peripheral.
  • the monitoring and alarming device of the present invention is automated, greatly improving efficiency, cost and reliability.
  • Figure 1 is a block diagram of a preferred embodiment of an embedded computer vision escalator flow monitoring and alerting device of the present invention.
  • FIG. 2 is a schematic diagram of a preferred embodiment of the embedded computer vision escalator flow monitoring alarm system of the present invention.
  • Figure 3 is a schematic illustration of the congestion at the entrance to the escalator.
  • Figure 4 is a schematic diagram of congestion at the entrance of the descending escalator.
  • Figure 5 is a schematic illustration of the passenger running up the escalator on the upside.
  • Figure 6 is a schematic illustration of the passenger running down the descending escalator.
  • Figure 7 is a schematic illustration of the passenger going backwards on the descending escalator.
  • Figure 8 is a schematic illustration of the passenger going backwards on the escalating escalator.
  • Figure 9 is a schematic diagram of the manager's guidance to passengers who make abnormal behavior.
  • Figure 10 is a schematic diagram of the operation of the upward escalator under the supervision of the device.
  • Figure 11 is a schematic view of the operation of the descending escalator under the supervision of the device.
  • Figure 12 is a flow chart showing the initialization of the embedded computer vision escalator flow monitoring and alarming device of the present invention.
  • Figure 13 is a flow chart of the intelligent selection module of the present invention covering the portion of the escalator image.
  • Figure 14 is a flow chart showing the calculation of passenger flow density by the passenger flow blocking and congestion rate analysis sub-module of the present invention.
  • Figure 15 is a flow diagram of the individual passenger speed, motion trajectory, and direction analysis sub-modules of the present invention processing individual passenger images and calculating the number of motion vectors.
  • Figure 16 is a schematic diagram of another preferred embodiment of the embedded computer vision escalator flow monitoring alarm system of the present invention.
  • Figure 17 is a schematic diagram showing the division of the escalator of the present invention in the same video area.
  • the monitoring alarm device of the present invention is an independently installed safety management control device equipped with a standard movable bracket, and the installer can conveniently adjust the position and shooting angle of the device as needed.
  • the embedded computer vision escalator flow monitoring device 11 includes an embedded control and processor 15, an image acquisition device 12, a voice alarm 13, a flash alarm 14, a remote peripheral 18, and an embedded escalator computer vision flow monitoring alarm system. 19.
  • the supervisory alarm system 19 is operated by the embedded control and processor 15.
  • the image capturing device 12 includes a movable camera for use as a passenger tracking.
  • the corresponding program is automatically called according to the movement of the target, and the operation is performed to make a relatively accurate rotational displacement to adapt to the position of the target.
  • the optical filter is installed in the camera. , to obtain image data, can also apply auxiliary lighting equipment, the device can use visible or near-infrared light, provide active front lighting In order to improve the quality of the captured image, the accuracy and efficiency of the embedded escalator visual flow monitoring alarm system 19 are improved.
  • the embedded escalator visual flow monitoring alarm system 19 is mainly used for analyzing and comparing the images collected by the image capturing device 12, and sending an alarm signal to the voice alarm 13 and the flashing alarm 14.
  • the embedded embedded WEB service module 6 updates the abnormality and fault information in time, and the remote peripheral 18 can extract relevant information and data through the local area network 17.
  • the embedded Bluetooth wireless network contact module 7 simultaneously transmits related abnormal or fault information and data wirelessly.
  • Figure 2 shows the principle of an embedded computer vision escalator flow monitoring alarm system.
  • the image acquisition sub-module 20 collects the visual image of the passenger on the escalator by means of the image acquisition device 12
  • all the visual recordings are stored in the visual recording storage database 220 of the storage sub-module 22, and can be obtained within a certain time limit.
  • An alarm log and a corresponding video data record are presented in the storage sub-module 22.
  • the storage sub-module 22 further includes an automatic running rewrite overlay sub-module 222, which overwrites the old image with a new passenger flow video image according to the setting, avoiding the abnormality of the storage sub-module 22 due to the space being full or the open file being too much. , stop running problems.
  • the rewrite overlay sub-module 222 is automatically run to store the required backups according to the analysis result of the comparison engine 3.
  • the analysis sub-module 24 extracts images from the storage sub-module 22, wherein the intelligent selection module 241 automatically covers the non-elevator images.
  • the algorithm for the intelligent selection module 241 to cover the image portion of the non-elevator is shown in Figure 13.
  • the intelligent selection module 241 mainly obtains the absolute value between the difference values of the two acquired images (such as N-2, N-1), and adds the absolute value to the absolute value of the other from the image (such as Nl, N). Value, you can find out the part of the non-elevator image, and use the background maintenance algorithm to generate the binary output, remove the image noise, accumulator update cover non-escalator image to clear the background vibration pixel, to eliminate the false alarm Good versatility, practicality and robustness.
  • the intelligent selection module 241 determines the slope and type of the escalator according to the escalator image, and automatically selects the corresponding preset safety range parameters to improve the accuracy and operation efficiency of the system. Since different escalators have different operating speeds, running directions, slopes and different installation settings, if the front desk staff does this, you need to repeatedly input the working parameters to get the best value. With a large manpower, the intelligent selection module 241 can automatically find the optimal operating parameters based on the detected slope and type of the escalator.
  • the image area setting module 242 can freely select or define a specific monitoring scene range.
  • the image area can reduce the calculation amount of each analysis module by means of the local detection area to achieve fast image analysis.
  • This module can also reduce the influence of the surrounding environment on the image pixels. For example, the luminosity, contrast, and analysis features will affect the analysis results, and the administrator can adjust the threshold to reduce the extra motion vectors generated by the extra features.
  • the analysis sub-module 24 is based on a dynamic region of interest extraction algorithm, a computer vision algorithm to detect the running speed of the escalator, the speed and direction of passenger movement on the elevator, and the flow density of the person.
  • the individual passenger speed, motion trajectory, and direction analysis sub-module 243 obtains individual passenger speed and motion trajectory parameters through computer vision image processing and motion vector number algorithms. For the specific flow of the algorithm, as shown in FIG.
  • the analysis parameters of the individual passenger speed, motion trajectory and direction analysis sub-module 243 are moving vector arrays, which represent the current frame of the moving image and a reference frame are divided into multiple processing groups, each The processing group has PXQ pixels, and the PXQ pixels include a central pixel located at the center of each processing group, and the moving vector array is used to display the object motion vector and calculate the motion speed and acceleration, and the relative speed of the passenger in the current frame is detected according to the motion speed. Movement speed.
  • the fixed point algorithm is used to detect the moving target in the actual video image. This method can not only detect the motion track, but also determine the moving direction of the individual passenger.
  • the traffic congestion and congestion rate analysis sub-module 244 obtains the congestion and congestion parameters of the passenger flow by the computer vision image comparison processing algorithm. See Figure 14 for the specific flow of the passenger density algorithm.
  • the traffic congestion and congestion rate analysis sub-module 244 can also use the computer vision image comparison processing algorithm to separate the target from the background, and can calculate the number, position, shape, direction and size of the target, and provide the topology of the portrait.
  • the measurement sub-module 245 in the analysis sub-module 24 continuously tests the analyzed image data to correct image distortion and aberration problems.
  • the comparison engine 3 compares the parameters analyzed by the analysis sub-module 24 with the real-time portrait topology map, compares the preset safety range with the preset portrait topology map, and determines the speed, movement trajectory and flow of the elevator pedestrian. Whether the density deviates from the preset safety range value. If it deviates, the alarm signal is sent to the alarm operation module 5, and the relevant image information is stored to the storage sub-module 22, and an alarm log is established.
  • the module monitoring engine 4 includes a module operation status reporting sub-module 40 and an automatic repair sub-module 42.
  • the module operation status reporting sub-module 40 continuously extracts the current operating state to the computer vision monitoring module 2, the comparison engine 3, the alarm operation module 5, the embedded WEB service module 6, and the embedded Bluetooth wireless network contact module 7. In case of failure, a fault log is created and the fault status information is sent to the management personnel.
  • the automatic repair sub-module 42 starts the correcting operation without disturbing the system application or the business program according to the detected improper operation, ensuring that the entire system does not affect the whole set due to data loss or damage. System stability and accuracy.
  • the alarm running module 5 receives the alarm signal sent by the comparison engine 3, and sends a voice control signal to the voice alarm 13 through the voice alarm control sub-module 50, and tells the passenger to slow down in the form of voice broadcast, do not reverse walking, and transfer to other elevators. Wait.
  • the flash control signal is sent to the flashing alarm through the flashing alarm control sub-module 52, and the warning light group composed of the high-brightness light-emitting diodes strongly warns the passengers.
  • the embedded WEB service module 6 includes a reporting sub-module 62 that sends a comparison result to the remote peripheral 18 and a fault conclusion made by the module monitoring engine 4, so that the timing of sending the alarm at the first time can be grasped, and the monitoring manpower burden is reduced.
  • the administrator can also use the remote peripheral 18 to access the WEB server through the local area network 17 to understand abnormal and fault information.
  • the embedded WEB service module 6 further includes an upgrade sub-module 60 for upgrading and updating the firmware and software of the device by using a local or remote network.
  • the parameter setting sub-module 64 in the embedded WEB service module 6 is used by the administrator to input related data such as the computer vision monitoring module 2, the module monitoring engine 4, the comparison engine 3, and the alarm running module 5 as needed.
  • the Extract Download Data sub-module 66 provides an interface for extracting and downloading relevant passenger flow images from the database at any time.
  • the embedded Bluetooth wireless network contact module 7 wirelessly transmits relevant abnormal behavior information and module error information to the remote peripheral 18.
  • the startup initialization process of the entire embedded escalator computer vision flow monitoring alarm system is shown in FIG. 12, and when the network 17 is turned on and the image capturing device 12 is activated, the image acquisition sub-module 20 and the analysis sub-module 24 are sequentially activated.
  • the comparison engine 3, the alarm running module 5 and the embedded WEB service module 6 then judge whether the module monitoring engine 4 receives the relevant startup, and if the relevant startup is received, it indicates that the system is all started.
  • Figure 3 shows the congestion situation at the entrance of the escalator at the top
  • Figure 4 shows the congestion at the entrance of the escalator at the down.
  • the image collection sub-module 20 collects a passenger congestion map
  • the stored image is in the database 220 of the storage sub-module 22
  • the intelligent selection module 241 covers the non-elevator portion, and then selects the image region
  • the traffic congestion and congestion rate analysis sub-module 244 uses the computer.
  • the visual image comparison algorithm calculates the passenger flow per unit time, and then the comparison engine 3 compares the obtained passenger flow and the flow density with the preset safety range, and concludes that the passenger flow density is too large, and the alarm operation module 5 issues accordingly. Alert message.
  • the embedded WEB service module 6 and the embedded Bluetooth wireless network contact module 7 send abnormal information to the administrator through wired and wireless means, and the embedded WEB service module 6 simultaneously provides related video. Download of the data.
  • Figure 5 shows a schematic view of the passenger running up the escalator on the way
  • Figure 6 shows the passenger running down on the descending escalator.
  • the image acquisition sub-module 20 collects moving images of individual passengers on the elevator, and stores the images in a database 220 of the storage sub-module 22.
  • the intelligent selection module 241 covers the non-elevator portion, and then selects the image region.
  • the individual passenger speed, motion trajectory and direction analysis sub-module 243 obtains the speed of the individual passenger through the computer vision individual passenger image processing and the motion vector number algorithm, and then compares the engine. 3 Comparing the obtained individual passenger speed with the preset safety range, it is concluded that the individual passengers move too fast.
  • the alarm operation module 5 issues an alarm message accordingly.
  • the embedded WEB service module 6 and the embedded Bluetooth wireless network contact module 7 send abnormal information to the management personnel through wired and wireless means, and the embedded WEB service module 6 simultaneously provides downloading of related video data.
  • Fig. 7 shows an illustration of the passenger going backwards on the descending escalator
  • Fig. 8 shows the situation in which the passenger is retrograde down on the escalator.
  • the image acquisition sub-module 20 collects moving images of individual passengers on the elevator, and stores the images in a database 220 of the storage sub-module 22.
  • the intelligent selection module 241 covers the non-elevator portion and selects the image area.
  • the individual passenger's speed, motion trajectory and direction analysis sub-module 243 obtains the motion trajectory and direction of the individual passenger through the computer vision individual passenger image processing and the motion vector number algorithm, and then the comparison individual engine trajectory and preset security are obtained by the comparison engine 3.
  • the trajectories are compared to obtain that the individual passenger's motion trajectory and direction deviate from the preset safety trajectory and direction.
  • the alarm operation module 5 issues an alarm message accordingly.
  • the embedded WEB service module 6 and the embedded Bluetooth wireless network connection module 7 send abnormal information to the administrator through wired and wireless means, and the embedded WEB service module 6 simultaneously provides downloading of related video data.
  • the administrator uses the remote peripherals 18 to extract abnormal information through the local area network 17 and personally go to the scene to give behavior guidance.
  • the escalators of the upper and lower rows are operated in an orderly manner, and the behavior and behavior of the passengers are within the monitoring range of the monitoring device.
  • Figure 16 illustrates the principles of another embodiment of an embedded computer vision escalator flow monitoring alarm system.
  • the image acquisition sub-module 20' collects the visual image of the passenger on the escalator by means of the image acquisition device 12 shown in FIG. 1, all the visual recordings are stored in the visual recording storage database 220 of the storage sub-module 22'.
  • the alarm log and the corresponding video data record can be presented from the storage submodule 22' within a certain time limit.
  • the image capture device 12 includes a plurality of finder range and focus
  • the camera is easy to capture the video of multiple cameras at the same time to monitor the entire journey of the passengers in the escalator or to walk, so as to obtain the flow of people in the specified time period and the designated area. These cameras also have fault recovery function, which can be The embedded computer vision escalator flow monitoring alarm system automatically restarts after a failure.
  • the visual recording storage database 220' is used for storing abnormal visual recordings, and storing the visual recording related recording date, off-hook time, on-hook time and current recording time while storing the visual recording, and storing an abnormality when storing the abnormal visual recording. Visual recording of preset time periods before and after recording (for example, 10 seconds before and after recording)
  • the storage sub-module 22' further includes an audio recording storage database 224'.
  • the database is set to monitor the abnormal behavior of the passenger on the escalator, and can simultaneously record and listen to multiple monitoring scenes at the same time, between the lines of each monitoring scene. Do not affect each other, store separately.
  • Real-time audio signals for each monitoring scene, and record information such as audio recording date, off-hook time, on-hook time, and current recording time.
  • When storing audio recordings it also stores abnormal audio before and after the preset time period (for example, 10 seconds before and after). recording.
  • High compression rates store more recordings to fully and accurately record all audio content and time, providing administrators with a legal basis for incidents. Managers can monitor any current monitoring scene in real time through active audio or headphones.
  • the recorded audio will generate an audio digital format such as WAV format on the computer's hard disk, which can be easily checked, backed up, statistically analyzed and parameterized. .
  • the recording date, off-hook time, on-hook time, and current recording time of the audio recording in the visual recording and audio recording storage database 224' in the visual recording storage database 220' are synchronized, and the visual recording 220' in the visual recording storage database
  • the audio recordings in the audio recording storage database 224' are played synchronously.
  • the storage sub-module 22' further includes an auto-run rewrite overlay sub-module 222', which overwrites the old image with a new passenger stream video image according to the setting, avoiding the storage sub-module 22' because the space is full or the file is opened too much
  • the system has an abnormality and stops running.
  • the rewrite overlay submodule 222 ' automatically runs the backup of the comparison engine 3' to store the required backup.
  • the analysis sub-module 24' extracts an image from the storage sub-module 22', wherein the intelligent selection module 24 automatically overwrites the non-elevator image.
  • the algorithm for the intelligent selection module 24 to cover the image portion of the non-elevator is shown in FIG.
  • the intelligent selection module 24 mainly obtains the absolute value between the difference values of the two acquired images (such as N-2, N-1), and adds the absolute value to another absolute image (such as Nl, N). Value, you can find out the part of the non-elevator image, and use the background maintenance algorithm to generate the binarized output, remove the image noise, and accumulate the update to cover the non-elevator image to clear the background vibration pixels. It has good versatility, practicability and robustness for eliminating false anomaly alarms.
  • the intelligent selection module 24 determines the slope and type of the escalator according to the escalator image, and automatically selects the corresponding preset safety range parameters to improve the accuracy and operation efficiency of the system. Since different escalators have different operating speeds, running directions, slopes and different installation settings, if the front desk staff does this, you need to repeatedly input the working parameters to get the best value. A large amount of manpower, and the intelligent selection module 24 can automatically find the optimal working parameters based on the detected slope and type of the escalator.
  • the image area setting module 242' can freely select or define an image area of a specific monitoring scene range, and the local detection area can reduce the calculation amount of each analysis module to achieve fast image analysis.
  • This module also reduces the impact of the surrounding environment on the image pixels. For example, luminosity, contrast, and analysis features affect the analysis results, and the administrator can adjust the threshold to reduce the extra motion vectors generated by the extra features.
  • the analysis sub-module 24' is based on a dynamic region of interest extraction algorithm, a computer vision algorithm to detect the speed of the escalator, the speed and direction of passenger movement on the elevator, and the flow density.
  • Individual Passenger Speed, Motion Track, and Direction Analysis Sub-Module 243 ' The individual passenger's speed and motion trajectory parameters are obtained by computer vision image processing and motion vector number algorithms. For the specific flow of the algorithm, as shown in FIG.
  • the analysis parameters of the individual passenger speed, motion trajectory and direction analysis sub-module 243' are moving vector arrays, which represent the current frame of the moving image and a reference frame are divided into multiple processing groups, each The processing group has PXQ pixels, and the PXQ pixels include a central pixel located at the center of each processing group, and the moving vector array is used to display the object motion vector and calculate the motion speed and acceleration, and detect the passengers in the current frame according to the motion speed. Relative speed of movement.
  • the fixed point algorithm is used to detect the moving target in the actual video image. This method can not only detect the motion track, but also determine the moving direction of the individual passenger.
  • the passenger flow blocking and congestion rate analysis sub-module 244 ' obtains the congestion and congestion parameters of the passenger flow through the computer vision image comparison processing algorithm. See Figure 14 for the specific flow of the passenger density algorithm.
  • the congestion blocking and congestion rate analysis sub-module 244 ' can also use the computer vision image comparison processing algorithm to separate the target from the background, and can calculate the number, position, shape, direction and size of the target, and provide the topology of the portrait.
  • the measurement sub-module in the analysis sub-module 24 ' 245 ' continuously tests the image data analyzed to correct image distortion and aberration problems.
  • the passenger number comprehensive analysis sub-module 246 in the analysis sub-module 24' calculates the number of people entering and exiting the area of the escalator entrance and exit, and outputs the time to the comparison engine 3' for use with the preset safety range. Line alignment, if the analyzed parameters deviate from the preset safety range, an alarm command is sent to the alarm running module 5'.
  • the image area of the escalator entrance and exit is usually selected by the intelligent selection module 24, and the number of passengers entering and exiting the escalator is calculated by the background subtraction of the image processing with the background recognition and the contour feature compared with the escalator background. This algorithm does not affect the calculation results due to changes in illumination. This background subtraction of image processing with background recognition and contour features compared to the escalator background is a well known algorithm.
  • the passengers in the analysis sub-module 24' grip the handrail analysis module 247' to calculate the number of passengers and time periods for the handrails on both sides of the grip. Also, the module covers the non-handrail portion through the intelligent selection module 24, selects the image area, and calculates the number of passengers gripping the handrail by using the background subtraction of the image processing in which the color recognition and contour features are compared with the background of the handrail. And comparing with the preset safety range parameter, if the analyzed parameter deviates from the preset safety range parameter, an alarm command is sent to the alarm running module 5 '. Similarly, background subtraction of image processing with color recognition and contour features in contrast to the handrail background is also a well known algorithm.
  • the item analysis sub-module 248' in the analysis sub-module 24' calculates the area size (number of pixels) of the item and compares it with a preset value to determine whether the item is too large. If the passenger is to carry an oversized bulky item on the ladder, the person concerned can immediately remind the relevant passenger to use the intrusion prohibition area analysis sub-module 249' in the safety analysis sub-module 24' of the escalator to provide an external interface to input the image range of the prohibited area. , for example, the handrail belt of the escalator or the inner and outer cover. If the passenger appears in the image range of the prohibited area, such as riding or climbing the escalator handrail or the inner and outer covers, the siren will sound immediately.
  • the individual passenger turn analysis sub-module 250' in the analysis sub-module 24' identifies and tracks the turning speed, trajectory and angular direction of the passenger during the escalator operation by calculating the angular velocity vector of the passenger's rotating shaft, and outputs it to the comparison engine 3' In comparison with the preset safety range, if the analyzed parameter deviates from the preset safety range parameter, an alarm command is sent to the alarm running module 5'.
  • the comparison engine 3' compares the parameters obtained by the analysis sub-module 24' and the real-time portrait topology map with the preset safety range and the preset portrait topology map to determine the speed and motion trajectory of the elevator pedestrian. And whether the flow density deviates from the preset safety range value. If it deviates, the alarm signal is sent to the alarm operation module 5', and the relevant image information is stored to the storage sub-module 22', and an alarm log is established.
  • the module monitoring engine 4' includes a module operation status reporting sub-module 40' and an automatic repair sub-module 42' .
  • the module operation status reporting sub-module 40' continuously extracts the current operation to the computer vision monitoring module 2', the comparison engine 3', the alarm running module 5', the embedded WEB service module 6', and the embedded Bluetooth wireless network contact module 7'. status. In case of failure, a fault log is created and the fault status information is sent to the management personnel.
  • the automatic repair sub-module 42' initiates the corrective operation without disturbing the system application or the business program according to the detected improper operation, ensuring that the entire system does not affect the stability and accuracy of the entire system due to data loss or damage.
  • the alarm running module 5' receives the alarm signal sent by the comparison engine 3', sends a voice control signal to the voice alarm 13' through the voice alarm control sub-module 50', and tells the passenger to slow down in the form of voice broadcast, and does not walk backwards. Transfer to other elevators, etc.
  • the flashing control signal is sent to the flashing alarm 14' through the flashing alarm control sub-module 52', and the warning light group composed of the high-brightness light-emitting diodes gives a strong warning to the passenger.
  • the embedded WEB service module 6' includes a reporting sub-module 62', and sends a comparison result to the remote peripheral 18' and a fault conclusion made by the module monitoring engine 4', so that the timing of sending the alarm at the first time can be grasped, and the monitoring manpower is reduced. burden.
  • the administrator can also use the remote peripheral 18 to access the WEB server through the local area network 17 to understand abnormal and fault information.
  • the embedded WEB service module 6' further includes an upgrade sub-module 60' for upgrading and updating the firmware and software of the device by means of a local or remote network.
  • the parameter setting sub-module 64' in the embedded WEB service module 6' is used by the administrator to input related data such as the computer vision monitoring module 2', the module monitoring engine 4', the comparison engine 3', and the alarm running module 5' as needed.
  • the relevant parameters for the management personnel include setting, modifying and preventing visual and audio monitoring scenarios, visual audio recording and playback, full parameters of the hard disk, recording time, storage space, backup time, backup space, group management, and encryption password. Others misappropriate bandwidth leaks.
  • the Extract Download Data sub-module 66' provides an interface for extracting and downloading relevant passenger flow images from the database at any time.
  • the embedded Bluetooth wireless network contact module 7' wirelessly transmits relevant abnormal behavior information and module error information to the remote peripheral 18.
  • a video area setting module 68' is further disposed in the embedded WEB service module 6'.
  • the video area setting module 68' further includes a video dividing module 680', a video combining module 682', and a five-fold operating module 684'.
  • the video segmentation module 680' is configured as a cross-section on the selected video area, and is divided into a plurality of escalator videos of different running speeds and directions.
  • Figure 17 shows a split view of two escalators under one video.
  • the video merge module 682' selects a plurality of different video regions. Since the heights of different escalators are different from the indoor roof, the number of cameras is different.
  • the video merge module 682' is merged into one scene at the same zoom ratio, which is convenient.
  • the fifth operation module 684' is for the user to select different video areas
  • the second aspect is for the user to select different modules included in the analysis sub-module in different video areas
  • the third aspect is for the user to perform video
  • the fourth aspect allows the user to monitor the image and audio through the network
  • the fifth aspect displays the passenger speed and its speed indication arrow, passenger flow blockage, congestion rate, number of passengers and speed indicator map in the analysis sub-module in real time.
  • the embedded escalator computer vision flow monitoring alarm system further includes a comprehensive analysis and statistics module 8', which comprehensively analyzes the entry and exit of all passengers in the image area of a specific monitoring scene range defined by the statistical image area setting module 242'.
  • Comprehensive analysis of statistics includes individual passenger speed, trajectory and direction, passenger flow congestion, congestion rate, number of passengers at different stages, number of passengers holding the handrail, individual passenger turn speed, trajectory and angular direction.
  • continuous analysis of visual and audio data can be used to anticipate accidents and provide a realistic assessment of the effectiveness of the associated measures.
  • the startup initialization process of the entire embedded escalator computer vision flow monitoring alarm system is shown in FIG. 12, and when the network 17 is turned on and the image capturing device 12 is activated, the image acquisition sub-module 20' and the analysis sub-module 24 are sequentially activated. ', the comparison engine 3', the alarm running module 5' and the embedded WEB service module 6', and then judge whether the module monitoring engine 4' receives the relevant startup, and if the receiving related startup starts, the system is all started.
  • the above embodiments are provided to enable a person skilled in the art to implement or use the present invention, and those skilled in the art can make various modifications or changes to the above embodiments without departing from the inventive concept.
  • the scope of protection of the invention is not limited by the embodiments described above, but should be the maximum range of the innovative features mentioned in the claims.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Escalators And Moving Walkways (AREA)

Description

嵌入式计算机视觉自动扶梯人流监察警报装置 技术领域
本发明涉及一种监察警报装置， 尤其涉及一种应用在自动扶梯安全管理中 的借助嵌入式计算机实现的自动扶梯人流监察警报装置。 背景技术
自动扶梯在现今的社会广泛频繁地使用， 再加上现代生活节奏加快， 人们 的时间观念都非常强， 在商场扶梯、 地铁入口等公共场合争先恐后的情况特别 严重， 重大事故发生的机会大大增加。
事故频发的原因主要是乘客急速向上或向下冲和推挤在自动扶梯进出口。 例如在地铁车站里， 乘客在地铁车门快要关上或正在关上的时候还赶着跑进车 厢内， 导致车门不能关闭甚至乘客被车门夹伤。 如果乘客在自动扶梯上知道列 车已到达月台， 更可能会立刻跑下来， 冲进车厢内。 另外， 列车刚到达月台， 车门一开， 乘客就会争先恐后乘搭自动扶梯， 希望可以尽快冲上地面离开车站 。 这类状况均会增加人们乘搭自动扶梯时的危险系数， 容易跌伤或碰伤。 另一 种安全事故发生于乘客推挤进自动扶梯的入口处， 由于自动扶梯入口是瓶颈位 置， 大量乘客人流同时推挤进时甚至会造成人踩人的情况。 在节假日或平时乘 客人流高峰时段， 这些情况也会在其它人流密集场所， 例如商场、 电影院的自 动扶梯上发生。
导致意外发生的不但因过分拥挤， 乘客拖曳的裤子长裙下摆或鞋带等对象 一不小心被梯级边缘、 梳齿板等挂住或拖曳便进入间隙后卡在裙板对接部位而 引起脚部进入间隙， 从而发生了自动扶梯裙板夹伤乘客脚部的事故， 儿童亦因 不规范行为而经常导致意外发生。 还有事故的起因都跟乘客没有紧握两侧自动 扶梯的扶手带， 或乘客在自动扶梯上转身跟友人玩耍聊天等的 "异常行为" 而 导致意外发生。
自动扶梯意外事故调査和研究很多， 但改善方法却缺乏。 以香港情况为例，
2007年消费者委员会报告非常关注自动扶梯相关的意外， 自动扶梯的总数在香 港从 2003年 5,749增长到 2006年 6,778。根据香港机电工程处， 从 2003年自动 扶梯意外事故的统计从 600个个案 （或平均每天 1.6个案） 上升至 2006年 1,092 个案 (或平均每天 2.99个案；)。在国内， 例如 06年上海莘庄地铁站的自动扶梯两 次因为过于拥挤， 载重量太大， 在上行途中突然翻转下行， 造成十余人受伤。 另外自动扶梯两端如果过于拥挤， 人群不能立即疏散， 也容易导致扶梯上人越 来越多， 导致挤伤。 此外， 07年 7月 15日， 上海地铁 1号线上体馆站发生地铁 屏蔽门挤死乘客的事件， 引起极大的争议。 事发时该乘客从自动扶梯上冲下， 欲抢在屏蔽门关闭之前强行冲入列车， 结果被夹在列车车门与屏蔽门之间， 在 列车启动后被活生生地挤死。 除了考虑屏蔽门的安全因素外， 我们似乎也可以 在乘客搭乘自动扶梯的时候即采取预警应对措施， 防止类似的 "屏蔽门" 事件 发生。
多数事故的起因都归究于乘客们在自动扶梯上做出一些危险的动作或不规 范行为， 这显示提醒乘客在自动扶梯上保持安全态度的重要性。 因此我们需要 及时警告和防止在自动扶梯做出不适当行为的乘客， 从而减少自动扶梯事故发 生率。 现今的管理方法主要利用安全管理大使人员在旁监看， 并提醒和维持秩 序， 亦有为自动扶梯增加简单的感应和发声装置， 但这些做法仍然很被动， 管 理效率亦难于改善。 并且这些传统监视设备不但花费成本高， 有时还会因人为 疏忽而失去其功效。 且一旦发生事故时不一定有任何录像或视觉记录， 这样便 潜在着大量的争议及责任认定的问题。 为了搜寻事件发生时所录下的影像数据， 常花费过多的时间及成本， 而延误案情。 其实， 这些大量的数据必须长时间地 被储存下来， 以备未来査询之用。 发明内容
本发明的目的在于解决上述问题， 提供了一种嵌入式计算机视觉自动扶梯 人流监察警报装置， 可以对自动扶梯人流进行监控和报警， 有效保障了自动扶 梯上的乘客安全。
本发明的技术方案为： 本发明揭示了一种嵌入式计算机视觉自动扶梯人流 监察警报装置， 包括：
图像采集设备， 摄取自动扶梯处的视觉图像；
嵌入式计算机视觉自动扶梯人流监察警报系统， 包括：
计算机视觉监控模块， 包括：
图像采集子模块， 采集自动扶梯上乘客的视觉图像； 储存子模块， 其内设的视觉录像存储数据库存储采集到的视觉录 像； 分析子模块， 对采集到的视觉图像进行分析；
比对引擎， 将该分析子模块的分析值与预设的安全范围进行对比； 警报运行模块， 将该比对引擎做出的异常行为结论向乘客发出警示信 号；
警报设备， 根据该警示信号进行警示的动作。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该嵌入式计 算机视觉自动扶梯人流监察警报系统还包括：
模块监视引擎， 对装置内的各个模块的运行状态进行监控。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该模块监视 引擎中进一步设置：
模块运行状态汇报子模块， 该模块向装置内的各个模块提取其当前的运行 状态， 建立故障日志， 并把故障状态的信息发送出去。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该模块监视 引擎中进一步设置：
自动修复子模块， 根据预测到的不当运行， 在不干扰系统应用程序或业务 程序的情况下对出错的模块进行修复。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该嵌入式计 算机视觉自动扶梯人流监察警报系统还包括：
嵌入式 WEB服务模块， 通过局域网向远程外设提供装置获得的信息。 上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该嵌入式计 算机视觉自动扶梯人流监察警报系统还包括：
嵌入式蓝牙无线网络联系模块， 以无线方式传送装置获得的信息。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该存储子模 块还包括：
自动运行重写覆盖子模块， 根据设定用新的乘客人流视频图像覆盖旧的图 像。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
智能选择模块， 自动覆盖非自动扶梯图像， 并根据自动扶梯图像判断自动 扶梯的坡度、 类型， 自动选择相应的预设安全范围参数。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
图像区域设定模块， 自由选择或定义一个特定监控场景范围的图像区域。 上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
自动扶梯速度及运行方向分析子模块， 检测自动扶梯的实时速度和运行方 向。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
个体乘客速度、 运动轨迹及方向分析子模块， 分析出乘客的相对运动速度 及运动轨迹。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
客流阻塞、 拥挤率分析子模块， 分析出单位时间内通过选定区域的客流量 和客流密度。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
测定子模块， 持续对所分析的图像数据进行测验， 修正图像扭曲和像差。 上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该比对引擎 将该个体乘客速度、 运动轨迹及方向分析子模块分析所得的个体乘客速度、 运 动轨迹与预设的安全范围参数进行比对， 如果分析所得的参数偏离安全范围参 数， 则发送警报命令给该警报运行模块。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该比对引擎 将该客流阻塞、 拥挤率分析子模块分析所得的单位时间的客流量、 客流密度与 预设的安全范围参数进行比对， 如果分析所得参数偏离安全范围参数， 则发送 警报命令给该警报运行模块。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该警报运行 模块进一步包括语音报警控制子模块， 以语音信号的方式警示乘客； 该警报设 备进一步包括语音报警器， 接收到该语音报警控制子模块的警示信号后进行语 音报警动作。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该警报运行 模块进一步包括闪光报警控制子模块， 以光信号的方式警示乘客； 该警报设备 进一步包括闪光报警器， 接收到该闪光报警控制子模块的警示信号后进行闪光 报警动作。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该嵌入式 WEB 服务模块进一步包括：
汇报子模块， 向远程外设发送比对结果。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该嵌入式 WEB 服务模块进一步包括：
参数设定子模块， 供管理人员输入装置内各个模块的相关参数。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该嵌入式 WEB 服务模块进一步包括：
升级子模块， 通过本地端口或远程网络升级固件和软件。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该嵌入式 WEB 服务模块进一步包括：
提取下载数据子模块， 提取下载数据， 自动建立相关的数据下载链接。 上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该图像采集 设备还包括光源设备。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该图像采集 设备包括多个具有调校取景范围和焦距的摄像头， 便于同时获取多个摄像头的 视频来监视乘客在自动扶梯中静止或行走的整个行程， 获得指定时段和指定区 域内的人群流动量， 该些摄像头还带有故障恢复功能， 在该嵌入式计算机视觉 自动扶梯人流监察警报系统出现故障后自动重启。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 在该嵌入式 WEB服务模块中还包括视频区域设定模块，视频区域设定模块的内部进一步包括 视频分割模块， 在选定的视频区域上设定为断面式， 分割成多个不同运行速度 和方向的自动扶梯视频。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该视频区域 设定模块的内部还包括视频合并模块， 选定多个不同的视频区域， 以同样的缩 放比例合并连接成一个场景。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该视频区域 设定模块的内部还包括五重操作模块， 第一个方面供用户选择不同的视频区域， 第二个方面供用户选择在不同的视频区域中运行分析子模块所包含的不同的模 块， 第三个方面供用户进行视频回放的操作， 第四个方面供用户通过网络监视 影像和音频， 第五个方面实时显示分析子模块中的乘客速度及其速度指示箭咀、 客流阻塞、 拥挤率、 乘客人数及其速度指示图、 乘客紧握扶手带人数及其指示 四方圈、 个体乘客转身速度、 轨迹及角方向人数及其速度指示箭咀、 体积超过 设定值的物品数量及其指示图和骑坐或攀爬扶手带和内外盖板处的人数及其指 示图。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 在该储存子 模块中还包括音频录音储存数据库， 分别存储对各个监控场景的实时音频信号， 同时记录音频信号相关的录制日期、 摘机时间、 挂机时间和当前录制时间， 在 存储音频录音时还存储异常音频前后预设时间段内的录音。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该参数设定 子模块供管理人员输入的相关参数包括对视觉和音频监控场景、 视觉音频录放 及硬盘将满参数、 录像录音时间、 存储空间、 备份时间、 备份空间、 组群管理、 加密密码进行设置， 修改和防止他人盗用频宽泄漏资料。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
乘客人数综合分析子模块， 计算自动扶梯出入口的区域内的出入人数和时 间段， 并输出至该比对引擎用以与预设的安全范围进行比对。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
乘客紧握扶手带分析子模块， 计算紧握自动扶梯两侧扶手带的人数及时间 段， 并输出至该比对引擎用以与预设的安全范围进行比对。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
物品分析子模块， 通过计算物品的面积大小并与一预设值进行比较以判断 该物品是否体积过大。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
侵入禁止区域分析子模块， 提供外接接口以输入禁止区域的图像范围， 判 断是否有乘客出现在该禁止区域中， 如果乘客出现在该禁止区域中， 则指令警 报运行模块发出警示信号。 上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该分析子模 块还包括：
个体乘客转身分析子模块， 通过计算乘客转动轴的角速度向量来辨认及跟 踪乘客在自动扶梯运行时转身速度、 轨迹和角方向， 并输出至该比对引擎用以 与预设的安全范围进行比对。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 该装置还包 括：
综合分析统计模块， 综合分析统计该图像区域设定模块定义的特定监控场 景范围的图像区域内所有乘客出入自动扶梯的人数及异常行为， 综合分析统计 的内容包括个体乘客速度、 运动轨迹及方向， 客流阻塞和拥挤率， 不同时段的 乘客人数， 紧握扶手带的乘客人数， 个体乘客转身速度、 轨迹及角方向。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 视觉录像存 储数据库用于存储异常的视觉录像， 在存储视觉录像的同时存储视觉录像相关 的录制日期、 摘机时间、 挂机时间和当前录制时间， 在存储异常的视觉录像时 还需存储异常录像前后预设时间段内的视觉录像。
上述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其中， 视觉录像存 储数据库中的视觉录像和音频录音储存数据库中的音频录音的录制日期、 摘机 时间、 挂机时间和当前录制时间是同步的， 视觉录像存储数据库中的视觉录像 和音频录音储存数据库中的音频录音是同步播放的。
本发明对比现有技术有如下的有益效果： 本发明通过采集自动扶梯上乘客 的视觉图像， 对这些视觉图像 （录像） 进行存储和分析， 并通过比对引擎将图 像的分析值与预设的安全范围进行比对， 对超出安全范围的值所对应的异常行 为向乘客发出警示信号， 同时可与远程外设进行交互。 相较于现有技术的人工 处理模式， 本发明的监察警报装置做到了自动化， 在效率、 成本和可靠性上大 大提升。 附图概述
图 1是本发明的嵌入式计算机视觉扶梯人流监察警报装置的较佳实施例的 结构图。
图 2是本发明的嵌入式计算机视觉扶梯人流监察警报系统的较佳实施例的 原理图。 图 3是上行的自动扶梯入口处拥堵的示意图。
图 4是下行的自动扶梯入口处拥堵的示意图。
图 5是乘客在上行的自动扶梯上向上奔跑的示意图。
图 6是乘客在下行的自动扶梯上向下奔跑的示意图。
图 7是乘客在下行的自动扶梯上向上逆行的示意图。
图 8是乘客在上行的自动扶梯上向下逆行的示意图。
图 9是管理人员对做出异常行为的乘客进行指导的示意图。
图 10是有本装置监控下的上行扶手电梯运行示意图。
图 11是有本装置监控下的下行扶手电梯运行示意图。
图 12是本发明的嵌入式计算机视觉自动扶梯人流监察警报装置的启动初始 化的流程图。
图 13是本发明的智能选择模块遮盖非扶梯图像部分的流程图。
图 14是本发明的客流阻塞、 拥挤率分析子模块计算客流密度的流程图。 图 15是本发明的个体乘客速度、 运动轨迹及方向分析子模块对个体乘客图 像进行处理以及计算移动向量数的流程图。
图 16是本发明的嵌入式计算机视觉扶梯人流监察警报系统的另一较佳实施 例的原理图。
图 17是本发明的扶梯在同一个视频区域内的分割示意图。 本发明的最佳实施方案
下面结合附图和实施例对本发明作进一步的描述。
图 1示出了本发明的嵌入式计算机视觉自动扶梯人流监察警报装置的产品 结构。请参见图 1，本发明的监察警报装置是一个独立安装的安全管理控制装置， 配有标准的活动式支架， 安装人员可以根据需要便捷地调整装置的位置和拍摄 角度。 嵌入式计算机视觉自动扶梯人流监察警报装置 11包括嵌入式控制及处理 器 15、 图像采集设备 12、 语音报警器 13、 闪光报警器 14、 远程外设 18及嵌入 式自动扶梯计算机视觉人流监察警报系统 19。其中监察警报系统 19通过嵌入式 控制及处理器 15运行。 图像采集设备 12包括一活动式摄像头， 用作乘客追踪， 根据目标的移动情况， 自动调用相应的程序， 并进行运算， 做出相对精确的旋 转位移以适应目标的位置， 摄像头内装有光学滤镜， 获取图像数据， 也可套用 辅助照明设备， 所采用的设备可使用可见光或近红外光， 提供主动正面照明可 以提高采集图像的质量， 从而提高嵌入式自动扶梯视觉人流监察警报系统 19的 运算准确性和效率。
嵌入式自动扶梯视觉人流监察警报系统 19主要用于分析、 比对图像采集设 备 12所采集到的图像， 并向语音报警器 13和闪光报警器 14发送报警信号。 同 时其内嵌的嵌入式 WEB服务模块 6， 及时更新异常和故障信息， 远程外设 18可 通过局域网络 17提取相关信息和数据。 嵌入式蓝牙无线网络联系模块 7同时以 无线方式传送相关异常或故障信息和数据。
图 2示出了嵌入式计算机视觉自动扶梯人流监察警报系统的原理。 请参见 图 2，图像采集子模块 20借助图像采集设备 12采集到自动扶梯上乘客的视觉图 像之后， 将所有视觉录像存储于存储子模块 22的视觉录像存储数据库 220中， 在一定时限内可从存储子模块 22中提出警报日志与相应的视频数据记录。 这些 记录不但可作研究事故分析确立长远改善策略之用， 并且在发生事故时可及时 储存其录像及视觉记录， 避免事故发生后引起争议及责任认定的问题。 存储子 模块 22又包括自动运行重写覆盖子模块 222， 根据设定用新的乘客人流视频图 像覆盖旧的图像， 避免了存储子模块 22因为空间已满或打开文件过多而导致系 统出现异常、 停止运行的问题。 同时自动运行重写覆盖子模块 222按照比对引 擎 3的分析结果储存需要的备份。
分析子模块 24从存储子模块 22中提取图像， 其中的智能选择模块 241 自 动覆盖非自动扶梯图像。 智能选择模块 241遮盖非扶梯图像部分的算法请参见 图 13所示。 智能选择模块 241主要是通过获得两采集图像 (如 N-2， N-1 ) 结果 差值间的绝对值， 并把该绝对值加到另一个从图像 （如 N-l， N ) 中出来的绝对 值， 便可找出遮盖非扶梯图像部分， 同时利用背景维护算法产生二值化的输出， 去除图像杂色， 累加器更新遮盖非自动扶梯图像用于清除背景振动像素， 对消 除虚假异常报警具有良好的通用性、 实用性和稳健性。
智能选择模块 241根据自动扶梯图像判断自动扶梯的坡度、 类型， 自动选 择相应的预设安全范围参数， 提高系统的准确性和运算效率。 由于不同的自动 扶梯有不同的运行速度、 运行方向、 坡度及不同的安装设定的工作参数， 如果 由前台工作人员来完成这项工作， 则需要重复输入工作参数以获得最佳值， 需 要耗费很大的人力， 而智能选择模块 241可根据检测出的自动扶梯的坡度和类 型自动找出最佳工作参数。
随后， 图像区域设定模块 242可自由的选择或定义一个特定监控场景范围 的图像区域， 借助局部检测区域可减少各分析模块的计算量， 以实现快速的图 像分析。 此模块亦可减低周边环境对图像像素的影响， 比如光度、 对比度、 分 析特征等都会影响其分析结果， 同时管理人员可调整阈值来减少多余的特征产 生的多余的移动向量。
分析子模块 24是基于动态兴趣区域提取算法、 计算机视觉算法来检测自动 扶梯的运行速度、 电梯上乘客运动速度和方向、 以及人流密度。 个体乘客速度、 运动轨迹及方向分析子模块 243通过计算机视觉图像处理以及移动向量数算法 得到个体乘客的速度和运动轨迹参数。 算法的具体流程请参见图 15所示， 个体 乘客速度、 运动轨迹及方向分析子模块 243的分析参数是移动向量数组， 是代 表活动图像当前帧与一参考帧被分成多个处理组，每个处理组具有 P X Q个像素， 并且这 P X Q个像素中包括位于每个处理组中心的中心像素， 利用移动向量数组 来显示物体移动向量及计算运动速度和加速度， 根据运动速度检测当前帧中乘 客的相对运动速度。 采用定点算法对实际视频图像中的运动目标进行运动检测， 该方法不仅能检测运动轨迹， 还可判断个体乘客的运动方向。
客流阻塞、 拥挤率分析子模块 244通过计算机视觉图像比对处理算法得到 客流阻塞和拥挤度参数。乘客密度算法的具体流程请参见图 14所示。客流阻塞、 拥挤率分析子模块 244还可以运用计算机视觉图像比对处理算法从背景中分离 出目标， 并可计算出目标的数量、 位置、 形状、 方向和大小， 并提供人像的拓 扑结构。
分析子模块 24中的测定子模块 245持续对所分析的图像数据进行测验， 来 修正图像扭曲、 像差问题。
比对引擎 3将分析子模块 24分析所得的参数和实时的人像拓扑结构图， 与 预设的安全范围和预设的人像拓扑结构图进行比对， 判断电梯上行人的速度、 运动轨迹及人流密度是否偏离预设安全范围值。 如果偏离则将警报信号发送值 警报运行模块 5， 同时储存相关图像信息至储存子模块 22， 并建立警报日志。
模块监视引擎 4包括模块运行状态汇报子模块 40和自动修复子模块 42。模 块运行状态汇报子模块 40不断向计算机视觉监视模块 2、 比对引擎 3、 警报运 行模块 5、嵌入式 WEB服务模块 6及嵌入式蓝牙无线网络联系模块 7提取当前的 运行状态。 如遇故障， 则建立故障日志， 并把故障状态的信息发送给管理人员 。 自动修复子模块 42根据检测到的不当运行， 在不干扰系统应用程序或业务程 序的情况下启动修正操作， 确保整套系统不会因为数据流失或损毁而影响整套 系统的稳定及准确性。
警报运行模块 5收到比对引擎 3发送的报警信号， 通过语音报警控制子模 块 50发送语音控制信号至语音报警器 13， 以语音广播的形式告诉乘客慢行， 不 要逆向行走， 转搭其它电梯等。 同时通过闪光报警控制子模块 52发送闪光控制 信号至闪光报警器 14， 透过高亮度发光二极管组成的报警灯组对乘客发出强烈 警示。
嵌入式 WEB服务模块 6包括汇报子模块 62，向远程外设 18发出比对结果和 模块监视引擎 4做出的故障结论， 这样可掌握第一时间发送警报的时机， 减少 监控人力负担。 当然管理人员也可用远程外设 18通过局域网络 17来访问 WEB 服务器， 了解异常和故障信息。 嵌入式 WEB服务模块 6又包括升级子模块 60， 借本地端或远程网络对设备的固件和软件进行升级和更新。 嵌入式 WEB服务模 块 6中的参数设定子模块 64供管理人员根据需要输入计算机视觉监视模块 2、 模块监视引擎 4、 比对引擎 3以及警报运行模块 5等相关的数据。 此外， 提取下 载数据子模块 66提供一界面， 可随时从数据库中提取下载有关的乘客人流图像 。 嵌入式蓝牙无线网络联系模块 7以无线方式向远程外设 18传送相关异常行为 信息和模块报错信息。
整个嵌入式自动扶梯计算机视觉人流监察警报系统的启动初始化流程请参 见图 12所示， 在网络 17接通和图像采集设备 12启动的情况下， 依次启动图像 采集子模块 20、 分析子模块 24、 比对引擎 3、 警报运行模块 5和嵌入式 WEB服 务模块 6， 然后判断模块监视引擎 4是否接收相关启动， 如果接收相关启动则表 明系统全部启动。
请参见图 3〜图 8， 这些都是本发明的装置所警告的多种情况： 乘客的客流 密度过大、 乘客在电梯上快速奔跑、 或者在电梯上逆向行走。
图 3示出了上行的自动扶梯入口处的拥堵示意情况， 图 4示出了下行的自 动扶梯入口处的拥堵示意情况。 图像采集子模块 20采集到乘客拥堵图， 储存图 像在存储子模块 22的数据库 220中， 智能选择模块 241遮盖非电梯部分， 再选 定图像区域， 由客流阻塞、 拥挤率分析子模块 244运用计算机视觉图像比对算 法计算出单位时间内的客流量， 再由比对引擎 3将所得到的客流量和人流密度 与预设的安全范围对比， 得出客流密度过大， 警报运行模块 5据此发出警报信 息。 嵌入式 WEB服务模块 6和嵌入式蓝牙无线网络联系模块 7通过有线和无线 的方式， 向管理人员发出异常信息， 嵌入式 WEB服务模块 6同时提供相关视像 资料的下载。
图 5示出了乘客在上行的自动扶梯上向上奔跑的示意情况， 图 6示出了乘 客在下行的自动扶梯上向下奔跑的示意情况。 图像采集子模块 20采集电梯上个 体乘客的运动图像， 储存图像在存储子模块 22的数据库 220中。 智能选择模块 241遮盖非电梯部分， 再选定图像区域， 由个体乘客速度、 运动轨迹及方向分析 子模块 243通过计算机视觉个体乘客图像处理及移动向量数算法得到个体乘客 的速度， 再由比对引擎 3将所得个体乘客速度和预设的安全范围对比， 得出个 体乘客运动速度过快。 警报运行模块 5据此发出警报信息。 嵌入式 WEB服务模 块 6和嵌入式蓝牙无线网络联系模块 7通过有线和无线的方式， 向管理人员发 出异常信息， 嵌入式 WEB服务模块 6同时提供相关视像资料的下载。
图 7示出了乘客在下行的自动扶梯上向上逆行的示意情况， 图 8示出了乘 客在上行的自动扶梯上向下逆行的示意情况。 图像采集子模块 20采集电梯上个 体乘客的运动图像， 储存图像在存储子模块 22的数据库 220中。 智能选择模块 241遮盖非电梯部分， 再选定图像区域。 由个体乘客速度、 运动轨迹及方向分析 子模块 243通过计算机视觉个体乘客图像处理及移动向量数算法得到个体乘客 的运动轨迹和方向， 再由比对引擎 3将所得的个体乘客运动轨迹与预设安全轨 迹进行比对， 得出个体乘客运动轨迹和方向偏离预设安全轨迹和方向。 警报运 行模块 5据此发出警报信息。 嵌入式 WEB服务模块 6和嵌入式蓝牙无线网络联 系模块 7通过有线和无线的方式， 向管理人员发出异常信息， 嵌入式 WEB服务 模块 6同时提供相关视像资料的下载。
如图 9所示， 在必要的时候， 管理人员使用远程外设 18通过局域网络 17 提取异常情况信息， 亲自到现场给予行为指导。
如图 10和图 1 1所示， 在本嵌入式自动扶梯监控装置的监控下， 上下行的 扶手电梯有序运行， 乘客的行为和举动都在监控装置的监控范围内。
图 16示出了嵌入式计算机视觉自动扶梯人流监察警报系统的另一实施例的 原理。 请参见图 16， 图像采集子模块 20 ' 借助如图 1所示的图像采集设备 12 采集到自动扶梯上乘客的视觉图像之后，将所有视觉录像存储于存储子模块 22 ' 的视觉录像存储数据库 220 ' 中， 在一定时限内可从存储子模块 22 ' 中提出警 报日志与相应的视频数据记录。 这些记录不但可作研究事故分析确立长远改善 策略之用， 并且在发生事故时可及时储存其录像及视觉记录， 避免事故发生后 引起争议及责任认定的问题。 图像采集设备 12包括多个具有调校取景范围和焦 距的摄像头， 便于同时获取多个摄像头的视频来监视乘客在自动扶梯中静止或 行走的整个行程， 从而获得指定时段和指定区域内的人群流动量， 这些摄像头 还带有故障恢复功能， 可以在嵌入式计算机视觉自动扶梯人流监察警报系统出 现故障后自动重启。 视觉录像存储数据库 220 ' 用于存储异常的视觉录像， 在存 储视觉录像的同时存储视觉录像相关的录制日期、 摘机时间、 挂机时间和当前 录制时间， 在存储异常的视觉录像时还需存储异常录像前后预设时间段内 （例 如前后 10秒） 的视觉录像
存储子模块 22 ' 又包括音频录音储存数据库 224 ' ， 设置这个数据库是为 了监控乘客在自动扶梯上的异常行为， 可同时对多个监控场景进行实时录音及 侦听， 各个监控场景的线路之间互不影响， 分别存储。 对各个监控场景的实时 音频信号， 同时记录音频录音日期、 摘机时间、 挂机时间和当前录音时间等信 息， 在存储音频录音时还存储异常音频前后预设时间段 （例如前后 10秒） 内的 录音。 高压缩率存储更多录音以全面准确记录所有音频内容和时间， 为管理人 员提供意外事件的法律依据。 管理人员可以通过有源音响或者耳机对任意一路 当前的监控场景进行实时监听。 在嵌入式计算机的 PCI插槽中安装一块录音板 卡， 被录音的音频都会在计算机的硬盘上生成一个音频数码格式例如 WAV格式 的文件， 可以方便的进行査听、 备份、 统计分析和参数设计。
视觉录像存储数据库 220 ' 中的视觉录像和音频录音储存数据库 224 ' 中的 音频录音的录制日期、 摘机时间、 挂机时间和当前录制时间是同步的， 视觉录 像存储数据库中的视觉录像 220 ' 和音频录音储存数据库 224 ' 中的音频录音是 同步播放的。
存储子模块 22 ' 又包括自动运行重写覆盖子模块 222 ' ， 根据设定用新的 乘客人流视频图像覆盖旧的图像， 避免了存储子模块 22 ' 因为空间已满或打开 文件过多而导致系统出现异常、 停止运行的问题。 同时自动运行重写覆盖子模 块 222 ' 按照比对引擎 3 ' 的分析结果储存需要的备份。
分析子模块 24 ' 从存储子模块 22 ' 中提取图像， 其中的智能选择模块 24 自动覆盖非自动扶梯图像。智能选择模块 24 遮盖非扶梯图像部分的算法请参 见图 13所示。 智能选择模块 24 主要是通过获得两采集图像 （如 N-2， N-1 ) 结果差值间的绝对值， 并把该绝对值加到另一个从图像 （如 N-l， N) 中出来的 绝对值， 便可找出遮盖非扶梯图像部分， 同时利用背景维护算法产生二值化的 输出， 去除图像杂色， 累加器更新遮盖非自动扶梯图像用于清除背景振动像素， 对消除虚假异常报警具有良好的通用性、 实用性和稳健性。
智能选择模块 24 根据自动扶梯图像判断自动扶梯的坡度、 类型， 自动选 择相应的预设安全范围参数， 提高系统的准确性和运算效率。 由于不同的自动 扶梯有不同的运行速度、 运行方向、 坡度及不同的安装设定的工作参数， 如果 由前台工作人员来完成这项工作， 则需要重复输入工作参数以获得最佳值， 需 要耗费很大的人力， 而智能选择模块 24 可根据检测出的自动扶梯的坡度和类 型自动找出最佳工作参数。
随后， 图像区域设定模块 242 ' 可自由的选择或定义一个特定监控场景范围 的图像区域， 借助局部检测区域可减少各分析模块的计算量， 以实现快速的图 像分析。 此模块亦可减低周边环境对图像像素的影响， 比如光度、 对比度、 分 析特征等都会影响其分析结果， 同时管理人员可调整阈值来减少多余的特征产 生的多余的移动向量。
分析子模块 24 ' 是基于动态兴趣区域提取算法、 计算机视觉算法来检测自 动扶梯的运行速度、 电梯上乘客运动速度和方向、 以及人流密度。 个体乘客速 度、运动轨迹及方向分析子模块 243 ' 通过计算机视觉图像处理以及移动向量数 算法得到个体乘客的速度和运动轨迹参数。 算法的具体流程请参见图 15所示， 个体乘客速度、 运动轨迹及方向分析子模块 243 ' 的分析参数是移动向量数组， 是代表活动图像当前帧与一参考帧被分成多个处理组， 每个处理组具有 P X Q个 像素， 并且这 P X Q个像素中包括位于每个处理组中心的中心像素， 利用移动向 量数组来显示物体移动向量及计算运动速度和加速度， 根据运动速度检测当前 帧中乘客的相对运动速度。 采用定点算法对实际视频图像中的运动目标进行运 动检测， 该方法不仅能检测运动轨迹， 还可判断个体乘客的运动方向。
客流阻塞、拥挤率分析子模块 244 ' 通过计算机视觉图像比对处理算法得到 客流阻塞和拥挤度参数。乘客密度算法的具体流程请参见图 14所示。客流阻塞、 拥挤率分析子模块 244 '还可以运用计算机视觉图像比对处理算法从背景中分离 出目标， 并可计算出目标的数量、 位置、 形状、 方向和大小， 并提供人像的拓 扑结构。
分析子模块 24 ' 中的测定子模块 245 ' 持续对所分析的图像数据进行测验， 来修正图像扭曲、 像差问题。
分析子模块 24 ' 中的乘客人数综合分析子模块 246 ' 计算自动扶梯出入口 的区域内的出入人数和时间段， 并输出至比对引擎 3 ' 用以与预设的安全范围进 行比对， 如果分析所得的参数偏离预设的安全范围， 则发送警报命令给警报运 行模块 5 ' 。 通常是利用智能选择模块 24 选定自动扶梯出入口的图像区域， 采用以背景辨识及轮廓特征与自动扶梯背景对比的图像处理的背景减法来计算 出入自动扶梯乘客的数量。 这种算法不会受照明的变动而影响计算结果。 这种 以背景辨识及轮廓特征与自动扶梯背景对比的图像处理的背景减法是一种公知 的算法。
分析子模块 24 ' 中的乘客紧握扶手带分析子模块 247 ' 计算紧握两侧扶手 带的乘客数量及时间段。 同样此模块是通过智能选择模块 24 遮盖非扶手带部 分， 再选定图像区域， 利用以颜色辨识及轮廓特征与扶手带背景对比的图像处 理的背景减法来计算紧握扶手带的乘客人数。 并与预设的安全范围参数进行比 对， 如果分析所得的参数偏离预设的安全范围参数， 则发送警报命令给警报运 行模块 5 ' 。 同样的， 以颜色辨识及轮廓特征与扶手带背景对比的图像处理的背 景减法也是一种公知的算法。
分析子模块 24 ' 中的物品分析子模块 248 '是通过计算物品的面积大小（像 素数目） 并与一预设值进行比较， 以判断物品是否体积过大。 如果乘客要携带 体积过大的笨重物品乘梯， 有关人员可立即提醒有关乘客使用自动扶梯的安全 分析子模块 24 ' 中的侵入禁止区域分析子模块 249 ' 提供外接接口以输入 禁止区域的图像范围， 例如自动扶梯的扶手带或内外盖板处。 如果乘客出现在 禁止区域的图像范围内， 例如骑坐或攀爬自动扶梯扶手带或内外盖板， 警号便 会立刻响起。
分析子模块 24 ' 中的个体乘客转身分析子模块 250 ' 通过计算乘客转动轴 的角速度向量来辨认及跟踪乘客在自动扶梯运行时转身速度、 轨迹和角方向， 并输出至比对引擎 3 ' 用以与预设的安全范围进行比对， 如果分析所得的参数偏 离预设的安全范围参数， 则发送警报命令给警报运行模块 5 ' 。
比对引擎 3 ' 将分析子模块 24 ' 分析所得的参数和实时的人像拓扑结构图， 与预设的安全范围和预设的人像拓扑结构图进行比对， 判断电梯上行人的速度、 运动轨迹及人流密度是否偏离预设安全范围值。 如果偏离则将警报信号发送值 警报运行模块 5 ' ， 同时储存相关图像信息至储存子模块 22 ' ， 并建立警报日 志
模块监视引擎 4 '包括模块运行状态汇报子模块 40 ' 和自动修复子模块 42 ' 。模块运行状态汇报子模块 40' 不断向计算机视觉监视模块 2' 、 比对引擎 3' 、 警报运行模块 5' 、 嵌入式 WEB服务模块 6' 及嵌入式蓝牙无线网络联系模块 7' 提取当前的运行状态。 如遇故障， 则建立故障日志， 并把故障状态的信息发送 给管理人员。 自动修复子模块 42' 根据检测到的不当运行， 在不干扰系统应用 程序或业务程序的情况下启动修正操作， 确保整套系统不会因为数据流失或损 毁而影响整套系统的稳定及准确性。
警报运行模块 5' 收到比对引擎 3' 发送的报警信号， 通过语音报警控制子 模块 50' 发送语音控制信号至语音报警器 13' ， 以语音广播的形式告诉乘客慢 行， 不要逆向行走， 转搭其它电梯等。 同时通过闪光报警控制子模块 52' 发送 闪光控制信号至闪光报警器 14' ， 透过高亮度发光二极管组成的报警灯组对乘 客发出强烈警示。
嵌入式 WEB服务模块 6' 包括汇报子模块 62' ， 向远程外设 18' 发出比对 结果和模块监视引擎 4'做出的故障结论，这样可掌握第一时间发送警报的时机， 减少监控人力负担。 当然管理人员也可用远程外设 18通过局域网络 17来访问 WEB服务器， 了解异常和故障信息。 嵌入式 WEB服务模块 6' 又包括升级子模块 60' ， 借本地端或远程网络对设备的固件和软件进行升级和更新。 嵌入式 WEB 服务模块 6' 中的参数设定子模块 64' 供管理人员根据需要输入计算机视觉监 视模块 2' 、 模块监视引擎 4' 、 比对引擎 3' 以及警报运行模块 5' 等相关的 数据。 这些供管理人员输入的相关参数包括对视觉和音频监控场景、 视觉音频 录放及硬盘将满参数、 录像录音时间、 存储空间、 备份时间、 备份空间、 组群 管理、 加密密码进行设置， 修改和防止他人盗用频宽泄漏资料。 此外， 提取下 载数据子模块 66' 提供一界面， 可随时从数据库中提取下载有关的乘客人流图 像。 嵌入式蓝牙无线网络联系模块 7' 以无线方式向远程外设 18传送相关异常 行为信息和模块报错信息。
在嵌入式 WEB服务模块 6' 中还设有视频区域设定模块 68' ， 视频区域设 定模块 68' 中进一步包括视频分割模块 680' 、 视频合并模块 682' 以及五重操 作模块 684' 。 其中视频分割模块 680' 在选定的视频区域上设定为断面式， 分 割成多个不同运行速度和方向的自动扶梯视频。 例如图 17示出了两条扶梯在一 个视频下的分割示意。 视频合并模块 682' 选定多个不同的视频区域， 由于不同 自动扶梯距离室内屋顶的高度不一样， 摄像头数量设置也不一样， 视频合并模 块 682' 以同样的缩放比例合并连接成一个场景， 方便管理监控整条自动扶梯的 情况。 五重操作模块 684 ' 第一个方面供用户选择不同的视频区域， 第二个方 面供用户选择在不同的视频区域中运行分析子模块所包含的不同的模块， 第三 个方面供用户进行视频回放的操作， 第四个方面供用户通过网络监视影像和音 频， 第五个方面实时显示分析子模块中的乘客速度及其速度指示箭咀、 客流阻 塞、 拥挤率、 乘客人数及其速度指示图、 乘客紧握扶手带人数及其指示四方圈、 个体乘客转身速度、 轨迹及角方向人数及其速度指示箭咀、 体积超过设定值的 物品数量及其指示图和骑坐或攀爬扶手带和内外盖板处的人数及其指示图。
在嵌入式自动扶梯计算机视觉人流监察警报系统中还包括一个综合分析统 计模块 8 ' ， 综合分析统计图像区域设定模块 242 ' 所定义的一个特定监控场景 范围的图像区域内所有乘客进入及离开自动扶梯的乘客人数及异常行为。 综合 分析统计的内容包括个体乘客速度、 运动轨迹及方向， 客流阻塞、 拥挤率， 不 同时段的乘客人数， 紧握扶手带的乘客人数， 个体乘客转身速度、 轨迹及角方 向。 在这个模块中， 持续对视觉和音频数据进行分析， 可针对意外成因实行预 防意外发生的措施及对其相关措施的功效作出实际的评估。
整个嵌入式自动扶梯计算机视觉人流监察警报系统的启动初始化流程请参 见图 12所示， 在网络 17接通和图像采集设备 12启动的情况下， 依次启动图像 采集子模块 20 ' 、 分析子模块 24 ' 、 比对引擎 3 ' 、 警报运行模块 5 ' 和嵌入 式 WEB服务模块 6 ' ， 然后判断模块监视引擎 4 ' 是否接收相关启动， 如果接收 相关启动则表明系统全部启动。 上述实施例是提供给本领域普通技术人员来实现或使用本发明的， 本领域 普通技术人员可在不脱离本发明的发明思想的情况下， 对上述实施例做出种种 修改或变化， 因而本发明的保护范围并不被上述实施例所限， 而应该是符合权 利要求书提到的创新性特征的最大范围。

Claims

权 利 要 求
1、 一种嵌入式计算机视觉自动扶梯人流监察警报装置， 包括：
图像采集设备， 摄取自动扶梯处的视觉图像；
嵌入式计算机视觉自动扶梯人流监察警报系统， 包括：
计算机视觉监控模块， 包括：
图像采集子模块， 采集自动扶梯上乘客的视觉图像； 储存子模块， 其内设的视觉录像存储数据库存储采集到的视觉录 像；
分析子模块， 对采集到的视觉图像进行分析；
比对引擎， 将该分析子模块的分析值与预设的安全范围进行对比； 警报运行模块， 将该比对引擎做出的异常行为结论向乘客发出警示信 号；
警报设备， 根据该警示信号进行警示的动作。
2、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该嵌入式计算机视觉自动扶梯人流监察警报系统还包括：
模块监视引擎， 对装置内的各个模块的运行状态进行监控。
3、 根据权利要求 2所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该模块监视引擎中进一步设置：
模块运行状态汇报子模块， 该模块向装置内的各个模块提取其当前的运行 状态， 建立故障日志， 并把故障状态的信息发送出去。
4、 根据权利要求 2所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该模块监视引擎中进一步设置：
自动修复子模块， 根据预测到的不当运行， 在不干扰系统应用程序或业务 程序的情况下对出错的模块进行修复。
5、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该嵌入式计算机视觉自动扶梯人流监察警报系统还包括： 嵌入式 WEB服务模块， 通过局域网向远程外设提供装置获得的信息。
6、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该嵌入式计算机视觉自动扶梯人流监察警报系统还包括：
嵌入式蓝牙无线网络联系模块， 以无线方式传送装置获得的信息。
7、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该存储子模块还包括：
自动运行重写覆盖子模块， 根据设定用新的乘客人流视频图像覆盖旧的图 像。
8、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
智能选择模块， 自动覆盖非自动扶梯图像， 并根据自动扶梯图像判断自动 扶梯的坡度、 类型， 自动选择相应的预设安全范围参数。
9、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
图像区域设定模块， 自由选择或定义一个特定监控场景范围的图像区域。
10、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
自动扶梯速度及运行方向分析子模块， 检测自动扶梯的实时速度和运行方 向。
11、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
个体乘客速度、 运动轨迹及方向分析子模块， 分析出乘客的相对运动速度 及运动轨迹。
12、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
客流阻塞、 拥挤率分析子模块， 分析出单位时间内通过选定区域的客流量 和客流密度。
13、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
测定子模块， 持续对所分析的图像数据进行测验， 修正图像扭曲和像差。
14、 根据权利要求 1或 11所述的嵌入式计算机视觉自动扶梯人流监察警报 装置， 其特征在于， 该比对引擎将该个体乘客速度、 运动轨迹及方向分析子模 块分析所得的个体乘客速度、 运动轨迹与预设的安全范围参数进行比对， 如果 分析所得的参数偏离安全范围参数， 则发送警报命令给该警报运行模块。
15、 根据权利要求 1或 12所述的嵌入式计算机视觉自动扶梯人流监察警报 装置， 其特征在于， 该比对引擎将该客流阻塞、 拥挤率分析子模块分析所得的 单位时间的客流量、 客流密度与预设的安全范围参数进行比对， 如果分析所得 参数偏离安全范围参数， 则发送警报命令给该警报运行模块。
16、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该警报运行模块进一步包括语音报警控制子模块， 以语音信号的 方式警示乘客； 该警报设备进一步包括语音报警器， 接收到该语音报警控制子 模块的警示信号后进行语音报警动作。
17、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该警报运行模块进一步包括闪光报警控制子模块， 以光信号的方 式警示乘客； 该警报设备进一步包括闪光报警器， 接收到该闪光报警控制子模 块的警示信号后进行闪光报警动作。
18、 根据权利要求 5所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该嵌入式 WEB服务模块进一步包括：
汇报子模块， 向远程外设发送比对结果。
19、 根据权利要求 5所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该嵌入式 WEB服务模块进一步包括：
参数设定子模块， 供管理人员输入装置内各个模块的相关参数。
20、 根据权利要求 5所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该嵌入式 WEB服务模块进一步包括：
升级子模块， 通过本地端口或远程网络升级固件和软件。
21、 根据权利要求 5所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该嵌入式 WEB服务模块进一步包括：
提取下载数据子模块， 提取下载数据， 自动建立相关的数据下载链接。
22、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该图像采集设备还包括光源设备。
23、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该图像采集设备包括多个具有调校取景范围和焦距的摄像头， 便 于同时获取多个摄像头的视频来监视乘客在自动扶梯中静止或行走的整个行 程， 获得指定时段和指定区域内的人群流动量， 该些摄像头还带有故障恢复功 能， 在该嵌入式计算机视觉自动扶梯人流监察警报系统出现故障后自动重启。
24、 根据权利要求 5所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 在该嵌入式 WEB服务模块中还包括视频区域设定模块， 视频区域 设定模块的内部进一步包括视频分割模块， 在选定的视频区域上设定为断面式， 分割成多个不同运行速度和方向的自动扶梯视频。
25、根据权利要求 24所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该视频区域设定模块的内部还包括视频合并模块， 选定多个不同 的视频区域， 以同样的缩放比例合并连接成一个场景。
26、根据权利要求 25所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该视频区域设定模块的内部还包括五重操作模块， 第一个方面供 用户选择不同的视频区域， 第二个方面供用户选择在不同的视频区域中运行分 析子模块所包含的不同的模块， 第三个方面供用户进行视频回放的操作， 第四 个方面供用户通过网络监视影像和音频， 第五个方面实时显示分析子模块中的 乘客速度及其速度指示箭咀、 客流阻塞、 拥挤率、 乘客人数及其速度指示图、 乘客紧握扶手带人数及其指示四方圈、 个体乘客转身速度、 轨迹及角方向人数 及其速度指示箭咀、 体积超过设定值的物品数量及其指示图和骑坐或攀爬扶手 带和内外盖板处的人数及其指示图。
27、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 在该储存子模块中还包括音频录音储存数据库， 分别存储对各个 监控场景的实时音频信号， 同时记录音频信号相关的录制日期、 摘机时间、 挂 机时间和当前录制时间， 在存储音频录音时还存储异常音频前后预设时间段内 的录音。
28、根据权利要求 19所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该参数设定子模块供管理人员输入的相关参数包括对视觉和音频 监控场景、 视觉音频录放及硬盘将满参数、 录像录音时间、 存储空间、 备份时 间、 备份空间、 组群管理、 加密密码进行设置， 修改和防止他人盗用频宽泄漏 资料。
29、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
乘客人数综合分析子模块， 计算自动扶梯出入口的区域内的出入人数和时 间段， 并输出至该比对引擎用以与预设的安全范围进行比对。
30、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
乘客紧握扶手带分析子模块， 计算紧握自动扶梯两侧扶手带的人数及时间 段， 并输出至该比对引擎用以与预设的安全范围进行比对。
31、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
物品分析子模块， 通过计算物品的面积大小并与一预设值进行比较以判断 该物品是否体积过大。
32、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
侵入禁止区域分析子模块， 提供外接接口以输入禁止区域的图像范围， 判 断是否有乘客出现在该禁止区域中， 如果乘客出现在该禁止区域中， 则指令警 报运行模块发出警示信号。
33、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该分析子模块还包括：
个体乘客转身分析子模块， 通过计算乘客转动轴的角速度向量来辨认及跟 踪乘客在自动扶梯运行时转身速度、 轨迹和角方向， 并输出至该比对引擎用以 与预设的安全范围进行比对。
34、 根据权利要求 9所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 该装置还包括：
综合分析统计模块， 综合分析统计该图像区域设定模块定义的特定监控场 景范围的图像区域内所有乘客出入自动扶梯的人数及异常行为， 综合分析统计 的内容包括个体乘客速度、 运动轨迹及方向， 客流阻塞和拥挤率， 不同时段的 乘客人数， 紧握扶手带的乘客人数， 个体乘客转身速度、 轨迹及角方向。
35、 根据权利要求 1所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 视觉录像存储数据库用于存储异常的视觉录像， 在存储视觉录像 的同时存储视觉录像相关的录制日期、 摘机时间、 挂机时间和当前录制时间， 在存储异常的视觉录像时还需存储异常录像前后预设时间段内的视觉录像。
36、根据权利要求 27所述的嵌入式计算机视觉自动扶梯人流监察警报装置， 其特征在于， 视觉录像存储数据库中的视觉录像和音频录音储存数据库中的音 频录音的录制日期、 摘机时间、 挂机时间和当前录制时间是同步的， 视觉录像 存储数据库中的视觉录像和音频录音储存数据库中的音频录音是同步播放的。
PCT/CN2009/072310 2008-06-17 2009-06-17 嵌入式计算机视觉自动扶梯人流监察警报装置 WO2009152766A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200810039034.6 2008-06-17
CN2008100390346A CN101607668B (zh) 2008-06-17 2008-06-17 嵌入式计算机视觉自动扶梯人流监察警报装置

Publications (1)

Publication Number Publication Date
WO2009152766A1 true WO2009152766A1 (zh) 2009-12-23

Family

ID=41433704

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/072310 WO2009152766A1 (zh) 2008-06-17 2009-06-17 嵌入式计算机视觉自动扶梯人流监察警报装置

Country Status (2)

Country Link
CN (1) CN101607668B (zh)
WO (1) WO2009152766A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377108A (zh) * 2012-04-28 2013-10-30 鸿富锦精密工业(武汉)有限公司 异常报警系统及方法
US8619135B2 (en) 2009-11-30 2013-12-31 Canon Kabushiki Kaisha Detection of abnormal behaviour in video objects
US8794421B2 (en) 2010-08-20 2014-08-05 Otis Elevator Company Remote controlled passenger conveyor and method for remotely controlling a passenger conveyor
US10059569B2 (en) 2016-07-29 2018-08-28 Otis Elevator Company Monitoring system of a passenger conveyor, a passenger conveyor, and a monitoring method thereof
CN109977759A (zh) * 2019-01-30 2019-07-05 长视科技股份有限公司 一种面向智慧商超的客流统计监控系统
CN111611938A (zh) * 2020-05-22 2020-09-01 浙江大华技术股份有限公司 一种逆行方向确定方法及装置
CN112163774A (zh) * 2020-10-09 2021-01-01 北京海冬青机电设备有限公司 手扶梯人流量评估模型建立方法、人流量分析方法及装置
CN112836667A (zh) * 2021-02-20 2021-05-25 上海吉盛网络技术有限公司 一种用于判断上行扶梯乘客摔倒逆行的方法
WO2021240046A1 (en) * 2020-05-27 2021-12-02 Kone Corporation People mover and people mover arrangement
CN114871126A (zh) * 2022-05-06 2022-08-09 苏州诚朴智能科技有限公司 外壳尺寸检测装置
WO2023036699A1 (de) * 2021-09-10 2023-03-16 Inventio Ag Verfahren und vorrichtung zur überwachung des fahrbetriebes einer personenförderanlage
CN116101874A (zh) * 2023-04-11 2023-05-12 菱王电梯有限公司 自动扶梯的控制方法、装置、自动扶梯及存储介质
US20230219790A1 (en) * 2022-01-07 2023-07-13 Acer Incorporated Escalator equipment alert method and escalator equipment alert system
GB2622198A (en) * 2022-09-02 2024-03-13 Hack Partners Ltd System and method for managing incoming users of an escalator
CN114871126B (zh) * 2022-05-06 2024-06-11 苏州诚朴智能科技有限公司 外壳尺寸检测装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101759090B (zh) * 2010-01-08 2013-09-04 日立电梯（广州）自动扶梯有限公司 具有紧急疏散功能的乘客输送安全系统
CN102254401A (zh) * 2011-05-11 2011-11-23 北京城市系统工程研究中心 一种客流运动智能分析方法
CN102682321A (zh) * 2011-12-06 2012-09-19 江苏美佳电梯有限公司 一种给电梯零部件编码并进行识别的方法
CN102515020A (zh) * 2011-12-21 2012-06-27 江苏美佳电梯有限公司 电梯部件故障识别反馈通知方法
CN102657403A (zh) * 2012-05-28 2012-09-12 上海海事大学 一种电子安全帽系统及场地安全的监测方法
CN103318739B (zh) * 2013-07-03 2014-11-19 北京北安时代电梯安装工程有限公司 自动扶梯和自动人行道人流量统计分析预警监测管理系统
US10155642B2 (en) * 2014-02-16 2018-12-18 Amir Hussein GHADAMOSSOLTANI Intelligent escalator emergency stop system (IE2S2)
CN103863934B (zh) * 2014-04-02 2016-02-03 日立电梯（广州）自动扶梯有限公司 自动扶梯安全检测装置和方法
CN105096406A (zh) 2014-04-30 2015-11-25 开利公司 用于建筑能耗设备的视频分析系统和智能楼宇管理系统
CN105989691A (zh) * 2015-02-13 2016-10-05 上海期安智能科技有限公司 一种防踩踏监控装置及方法
WO2016147202A1 (en) * 2015-03-13 2016-09-22 Kumaravelu Varadharajan System and method for implementing emergency response platform
CN105446351B (zh) * 2015-11-16 2018-03-16 杭州码全信息科技有限公司 一种能够锁定目标区域瞭望基于自主导航的无人飞艇系统
CN106127148B (zh) * 2016-06-21 2019-03-12 日立电梯（广州）自动扶梯有限公司 一种基于机器视觉的手扶电梯乘客异常行为检测方法
US10035685B2 (en) 2016-07-11 2018-07-31 Otis Elevator Company Monitoring system for a passenger conveyor
CN107662867B (zh) * 2016-07-29 2021-03-30 奥的斯电梯公司 乘客运输机的梯级滚轮监测和维修操作人员监测
CN106371437B (zh) * 2016-08-30 2020-02-11 尚艳燕 一种平衡车在狭窄空间的自动驻车方法和装置
CN106534779A (zh) * 2016-10-28 2017-03-22 安徽三实信息技术服务有限公司 一种景区安全预警智能监控系统
CN106548158A (zh) * 2016-11-07 2017-03-29 华南理工大学 基于机器视觉的人群密度智能监测系统及方法
EP3415454B1 (en) * 2017-06-14 2021-09-22 KONE Corporation Automatic fault clearing for elevators, escalators and automatic doors
CN107844741A (zh) * 2017-09-11 2018-03-27 浙江新再灵科技股份有限公司 自动扶梯上儿童逆行的检测报警系统及方法
CN109250616B (zh) * 2018-09-28 2020-05-19 绍兴市特种设备检测院 一种扶梯出入口拥堵检测系统与方法
US10351392B1 (en) 2018-10-23 2019-07-16 Otis Elevator Company Escalator and moving walkway system with safety sensor
CN109191801A (zh) * 2018-11-02 2019-01-11 北京首钢股份有限公司 一种极限状态监测方法和装置
CN110263623B (zh) * 2019-05-07 2024-05-28 平安科技（深圳）有限公司 列车攀爬监测方法、装置、终端及存储介质
CN113011291A (zh) * 2021-03-03 2021-06-22 上海商汤智能科技有限公司 事件检测方法及装置、电子设备和存储介质
CN114639222A (zh) * 2022-03-22 2022-06-17 广西高重厚泽科技有限公司 一种电扶梯运行安全自动检测报警系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05319762A (ja) * 1992-05-13 1993-12-03 Mitsubishi Electric Corp マンコンベアの乗客異常検出装置
JPH10236757A (ja) * 1997-02-26 1998-09-08 Mitsubishi Denki Bill Techno Service Kk 遠隔監視システム
CN1194232A (zh) * 1997-03-25 1998-09-30 株式会社日立制作所 自动扶梯的控制装置
JPH11278784A (ja) * 1998-03-25 1999-10-12 Hitachi Ltd マンコンベアの制御装置
JP2000007264A (ja) * 1998-06-17 2000-01-11 Hitachi Ltd マンコンベア装置
CN1291164A (zh) * 1998-02-25 2001-04-11 株式会社日立制作所 乘客输送设备
CN1498849A (zh) * 2002-11-06 2004-05-26 因温特奥股份公司 监视自动扶梯和移动步道的摄像机
JP2004244183A (ja) * 2003-02-14 2004-09-02 Toshiba Elevator Co Ltd エスカレータ装置
CN1919711A (zh) * 2006-09-20 2007-02-28 浙江工业大学 基于图像、语音识别技术的电梯内防暴力装置
CN101152948A (zh) * 2006-09-28 2008-04-02 东芝电梯株式会社 功能可变型远程监视系统、方法、程序以及信息处理装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05319762A (ja) * 1992-05-13 1993-12-03 Mitsubishi Electric Corp マンコンベアの乗客異常検出装置
JPH10236757A (ja) * 1997-02-26 1998-09-08 Mitsubishi Denki Bill Techno Service Kk 遠隔監視システム
CN1194232A (zh) * 1997-03-25 1998-09-30 株式会社日立制作所 自动扶梯的控制装置
CN1291164A (zh) * 1998-02-25 2001-04-11 株式会社日立制作所 乘客输送设备
JPH11278784A (ja) * 1998-03-25 1999-10-12 Hitachi Ltd マンコンベアの制御装置
JP2000007264A (ja) * 1998-06-17 2000-01-11 Hitachi Ltd マンコンベア装置
CN1498849A (zh) * 2002-11-06 2004-05-26 因温特奥股份公司 监视自动扶梯和移动步道的摄像机
JP2004244183A (ja) * 2003-02-14 2004-09-02 Toshiba Elevator Co Ltd エスカレータ装置
CN1919711A (zh) * 2006-09-20 2007-02-28 浙江工业大学 基于图像、语音识别技术的电梯内防暴力装置
CN101152948A (zh) * 2006-09-28 2008-04-02 东芝电梯株式会社 功能可变型远程监视系统、方法、程序以及信息处理装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619135B2 (en) 2009-11-30 2013-12-31 Canon Kabushiki Kaisha Detection of abnormal behaviour in video objects
US8794421B2 (en) 2010-08-20 2014-08-05 Otis Elevator Company Remote controlled passenger conveyor and method for remotely controlling a passenger conveyor
CN103377108A (zh) * 2012-04-28 2013-10-30 鸿富锦精密工业(武汉)有限公司 异常报警系统及方法
US10059569B2 (en) 2016-07-29 2018-08-28 Otis Elevator Company Monitoring system of a passenger conveyor, a passenger conveyor, and a monitoring method thereof
CN109977759A (zh) * 2019-01-30 2019-07-05 长视科技股份有限公司 一种面向智慧商超的客流统计监控系统
CN111611938B (zh) * 2020-05-22 2023-08-29 浙江大华技术股份有限公司 一种逆行方向确定方法及装置
CN111611938A (zh) * 2020-05-22 2020-09-01 浙江大华技术股份有限公司 一种逆行方向确定方法及装置
WO2021240046A1 (en) * 2020-05-27 2021-12-02 Kone Corporation People mover and people mover arrangement
CN112163774A (zh) * 2020-10-09 2021-01-01 北京海冬青机电设备有限公司 手扶梯人流量评估模型建立方法、人流量分析方法及装置
CN112163774B (zh) * 2020-10-09 2024-03-26 北京海冬青机电设备有限公司 手扶梯人流量评估模型建立方法、人流量分析方法及装置
CN112836667A (zh) * 2021-02-20 2021-05-25 上海吉盛网络技术有限公司 一种用于判断上行扶梯乘客摔倒逆行的方法
CN112836667B (zh) * 2021-02-20 2022-11-15 上海吉盛网络技术有限公司 一种用于判断上行扶梯乘客摔倒逆行的方法
WO2023036699A1 (de) * 2021-09-10 2023-03-16 Inventio Ag Verfahren und vorrichtung zur überwachung des fahrbetriebes einer personenförderanlage
TWI817311B (zh) * 2022-01-07 2023-10-01 宏碁股份有限公司 電扶梯設備警示方法與電扶梯設備警示系統
US20230219790A1 (en) * 2022-01-07 2023-07-13 Acer Incorporated Escalator equipment alert method and escalator equipment alert system
CN114871126A (zh) * 2022-05-06 2022-08-09 苏州诚朴智能科技有限公司 外壳尺寸检测装置
CN114871126B (zh) * 2022-05-06 2024-06-11 苏州诚朴智能科技有限公司 外壳尺寸检测装置
GB2622198A (en) * 2022-09-02 2024-03-13 Hack Partners Ltd System and method for managing incoming users of an escalator
CN116101874B (zh) * 2023-04-11 2023-06-06 菱王电梯有限公司 自动扶梯的控制方法、装置、自动扶梯及存储介质
CN116101874A (zh) * 2023-04-11 2023-05-12 菱王电梯有限公司 自动扶梯的控制方法、装置、自动扶梯及存储介质

Also Published As

Publication number Publication date
CN101607668A (zh) 2009-12-23
CN101607668B (zh) 2012-06-27

Similar Documents

Publication Publication Date Title
WO2009152766A1 (zh) 嵌入式计算机视觉自动扶梯人流监察警报装置
CN103108159B (zh) 一种电力智能视频分析监控系统和方法
WO2021159604A1 (zh) 一种轨道列车的监控系统，监控方法及监控装置
US7646401B2 (en) Video-based passback event detection
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
CN102521578B (zh) 一种入侵检测和识别方法
JP6829165B2 (ja) 監視システム及び監視方法
US8068640B2 (en) Method for detecting image regions that are conspicuous in terms of the movement in them; apparatus and computer program for performing the method
US20170053191A1 (en) Image analysis system, image analysis method, and storage medium
CN110532951B (zh) 一种基于区间位移的地铁乘客异常行为分析方法
KR101229945B1 (ko) 터널 사고 검출 및 경보시스템
KR101164228B1 (ko) 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
CN110555964B (zh) 一种多数据融合的重点区域预警系统及方法
EP1428189A1 (en) Vision-based method and apparatus for detecting fraudulent events in a retail environment
KR20080044812A (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
CN109867186B (zh) 一种基于智能视频分析技术的电梯困人检测方法及系统
CN110288738B (zh) 一种自行车专用车道智能综合管控系统和管控方法
CN112257494A (zh) 一种基于智能视频分析技术的行为识别方法及应用
JP2013127716A (ja) 混雑の非通常状態検知システム
CN113393625A (zh) 一种智慧灯杆的防盗报警取证方法及系统
KR101870641B1 (ko) 영상 감시 시스템 및 그 방법
JP6253950B2 (ja) 画像監視システム
CN104616432B (zh) 一种人流密度智能识别和控制方法及系统
KR101407952B1 (ko) 엘리베이터 방범시스템 및 방법
KR101524922B1 (ko) 비상 알림을 위한 장치, 방법 및, 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09765405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09765405

Country of ref document: EP

Kind code of ref document: A1