WO2012151777A1 - 多目标跟踪特写拍摄视频监控系统 - Google Patents

多目标跟踪特写拍摄视频监控系统 Download PDF

Info

Publication number
WO2012151777A1
WO2012151777A1 PCT/CN2011/076452 CN2011076452W WO2012151777A1 WO 2012151777 A1 WO2012151777 A1 WO 2012151777A1 CN 2011076452 W CN2011076452 W CN 2011076452W WO 2012151777 A1 WO2012151777 A1 WO 2012151777A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
angle
target
wide
ptz
Prior art date
Application number
PCT/CN2011/076452
Other languages
English (en)
French (fr)
Inventor
张昕
刘海川
楼冬明
Original Assignee
上海芯启电子科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海芯启电子科技有限公司 filed Critical 上海芯启电子科技有限公司
Publication of WO2012151777A1 publication Critical patent/WO2012151777A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Definitions

  • the present invention mainly relates to the field of intelligent video surveillance technology, and in particular to a control system for tracking a plurality of targets thereof by a first camera system for capturing a large scene. And a video surveillance system consisting of a second camera system that takes close-up shots of each tracking target.
  • One of the existing solutions is to cover a large scene by using a plurality of distributed long focal length fixed cameras to splicing the images captured by these distributed cameras.
  • the disadvantage of this solution is that it requires a large increase in cameras, which greatly increases the cost of purchasing equipment, installing wiring, and recording storage.
  • Another possible solution is to use a smaller number of cameras that can be rotated in the horizontal and vertical directions and can be zoomed (also referred to simply as PTZ cameras) to achieve monitoring of large scenes.
  • One way is to manually control the rotation and zoom of the PTZ camera by the monitor to scan and cover the large scene. but In the unmanned state, the PTZ camera generally stays in the wide-angle setting state, at this time, the details of the target object in the large scene cannot be captured, and when the PTZ camera stays in the telephoto setting state, It can only cover a small part of a large scene.
  • Another way is to make the PTZ camera scan the large scene according to the preset cruise route without unattended intervention. In this way, PTZ The camera moves along the scheduled cruise route. After a certain time has elapsed after each preset preset point, the next preset point is turned. In this latter mode, because the PTZ camera can only cruise along a preset route, it is very likely that some objects will completely avoid the camera.
  • a video surveillance system incorporating wide-angle and partial image capture is disclosed in US Patent No. 6,215,519, in which a first image acquisition system has a wide-angle field of view for capturing large scenes, in one or more In the two image capturing system, each of the image capturing systems is disposed to be positioned in a portion of the large scene and is capable of being interested in the region corresponding to the second image capturing system at a resolution greater than that of the first image capturing system The target is tracked.
  • FIG. 6724,421 discloses a video surveillance system including a main camera for navigation and a slave camera for tracking a target, in which a fixed navigation main camera is used for shooting large scenes.
  • Panorama one or more slave cameras are positioned at an appropriate location for capturing a portion of the large scene.
  • the invention patent states that the position of any point within the monitored large scene area can be described using a coordinate system such as Cartesian coordinates, polar coordinates or a spherical coordinate system. Each pixel in the image can be mapped and identified in a reference coordinate system such that any point in each region of the scene has a corresponding coordinate stored in the computer system.
  • the computer directs horizontal, vertical rotation and/or zooming from the camera to aim at the target and track the movement of the target.
  • the video surveillance systems described in the above two prior art both propose a master-slave cooperation method using a wide-angle camera and a PTZ camera to solve the above-mentioned technical problems.
  • all prior art including the two patent documents have many unresolved problems and deficiencies in effectively achieving precise interaction and control between different camera systems. Therefore, the present invention is directed to the above-mentioned deficiencies of the prior art, and provides a video monitoring system with lower cost, which can effectively not only comprehensively monitor large scenes, but also accurately capture detailed information of target objects in large scenes. The efficiency of the system and the quality of the images obtained are greatly improved.
  • the rate close-up captures the second camera system of each target of interest
  • the improved control system can effectively realize the precise interaction and control between the first and second camera systems, target tracking and distribution shooting, and reduce system cost. At the same time improve the performance of the system.
  • a video surveillance system comprising a first camera system comprising one or more wide-angle or PTZ cameras for capturing wide-angle video in a field of view of a large scene, a second camera system, Contains one or more PTZ cameras for capturing local video in the field of view of a large scene, and a control system.
  • the control system includes an image acquisition module for receiving a lower resolution wide-angle video captured by the first camera system, and a foreground extraction module for extracting a target of interest from the wide-angle video; a coordinate conversion module for projecting an arbitrary point in a large scene view taken by the first camera system to a two-dimensional coordinate ( x, y ) on an image plane of the wide-angle video captured by the first camera system by using a coordinate conversion mechanism Converting to a vertical height angle ⁇ and a horizontal azimuth angle ⁇ when a selected PTZ camera of the second camera system is aligned at the center of the selected point; wherein the coordinate conversion mechanism is through the large scene At least three arbitrary points randomly selected within the field of view are established.
  • the coordinate conversion mechanism in the coordinate conversion module can utilize the following equation: among them, , f x , f y is the focal length in units of the x and y directions of the pixel, ( c x , c y ) is the coordinate of the center of the wide-angle camera picture, and A is the coordinate conversion mapping parameter matrix.
  • the coordinate conversion module is further configured to calculate an image size of the target region of interest extracted from the first camera system to be enlarged to a focal length captured by the second camera system.
  • control system further comprises a distortion correction module for correcting the distortion of the video image captured by the first camera system before the coordinate conversion is performed, so that the coordinate conversion module is Each pixel in the image captured by a camera system is converted into a second camera system
  • the PTZ camera's vertical and horizontal azimuth angles are more accurate.
  • control system further comprises a target tracking module after the foreground extraction module for maintaining and updating the trajectory of one or more objects of interest.
  • target tracking module can also predict the position and speed of the target of interest at a particular moment in the future.
  • the target tracking module can be set to operate in a fully automatic mode, a semi-automatic mode, or a fully manual mode.
  • the video monitoring system of the present invention realizes real-time tracking and shooting of multiple targets, and achieves precise positioning and interactive control between cameras of two camera systems through coordinate calibration and distortion calibration; It is advantageous to provide a plurality of preset modes for tracking the working mode of the target and assigning the target to the sequential shooting, optimizing the extraction and tracking mode of the target, realizing the full utilization of the hard resources, reducing the cost, and improving the The quality and performance of the system.
  • FIG. 1 is a schematic structural diagram of an intelligent video monitoring system according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram illustrating an enlarged screen in which a video surveillance system of the present invention captures a large scene picture and tracks a plurality of target regions of interest therein;
  • FIG. 3 is an example of a screen shot image of a display of a video surveillance system of the present invention.
  • a large scene placed on the left side and a zoom-in screen of the area of interest placed on the right side and a user interface of the menu portion for performing the scaling operation at the bottom of the screen are displayed;
  • FIG. 4 is a geometric schematic diagram of a coordinate conversion mechanism of a video surveillance system control system in accordance with the present invention.
  • the video surveillance system of the present invention includes two sets of camera systems 1, 2 and is controlled by at least one group of control systems 3.
  • the first camera system 1 may include one or more cameras covering a large scene view area to be monitored, and providing a wide-angle video transmission of a general resolution to the first display device of the monitoring system. , the left screen in the schematic diagram of FIG. 2 or the left screen of the screen of FIG.
  • the second camera system 2 includes one or more PTZ
  • the camera has an adjustable field of view, covering a part of the field of view of the large scene, and is optically amplified and then transmitted to the second display device of the monitoring system with high-definition resolution video, as shown in the right picture in the schematic diagram of FIG. 2
  • the I, II, III screen or the screen on the right side of the monitor screen of Figure 3 is shown.
  • the first camera system 1 applies a wide-angle camera to cover the entire monitored large scene, and delivers the captured video stream to the control system 3.
  • the first camera system 1 may be composed of one or more fixed wide-angle cameras. , For example, but not limited to: a wide-angle fixed-focus camera, a 360-degree panoramic camera, or a PTZ camera that can be rotated horizontally and vertically and can be zoomed.
  • the second camera system 2 includes at least one PTZ camera that can be rotated horizontally/vertically and can change the focal length, so that its field of view can be adjusted to align the target area of interest for optical magnification shooting.
  • both the first camera system 1 and the second camera system 2 are comprised of one or more PTZ cameras that are rotatable in the horizontal and vertical directions and have a variable focal length.
  • the cameras in the first and second camera systems 1, 2 may have a master-slave relationship or a side-by-side relationship, and in some cases, such master-slave relationships may also be interchanged according to changes in the environment.
  • the control system 3 can be any suitable programmable computer such as a general computer, an industrial control computer, or an embedded computing system, and the specific configuration, functions and details of the operation of the control system 3 will be described later. It is described in detail in the paragraph.
  • the video surveillance system includes a wide-angle camera constituting the first camera system 1, and one constituting the second camera.
  • the PTZ camera of system 2 and a control system 3 that controls the wide-angle camera and PTZ camera.
  • the control system 3 processes the wide-angle video captured by the first camera system 1 using a wide-angle camera and can extract a plurality of objects of interest from the wide-angle video image. The picture on the left side of FIG.
  • the control system 3 will guide the PTZ cameras of the second camera system 2 to track these objects of interest, and take a magnified shot of the target area with high resolution, the output video of which is displayed by the second display device.
  • the three rectangular frames (I, II, III) in the N-fold enlarged picture on the right side of FIG. 2 are the target regions of interest (i, ii, which are displayed by the PTZ camera 2 and displayed by the second display device, respectively. Iii) High resolution magnified image.
  • the above-mentioned wide-angle video image and the enlarged image of the target region of interest in which the tracking is performed may be respectively displayed on different display screens or may be displayed on different screen regions divided on the same display screen.
  • a parallel display mode as shown in FIG. Different video pictures from the first and second camera systems are displayed on the same screen.
  • the divided regions may be the same size or different sizes, and the screen segmentation display belongs to the prior art, and is not related to the gist of the present invention.
  • a plurality of wide-angle camera lenses are employed to cooperate with each other to capture a larger surveillance scene.
  • one or more control systems 3 may also be employed to separately capture a plurality of target regions of interest, and simultaneously control the adjustable fields of view of the plurality of PTZ cameras, respectively tracking the height of the target regions. Resolution video.
  • the user generally monitors the scene and controls the wide-angle camera and the PTZ camera through the display device 5 through the display and operation module 4 communicatively coupled to the control system 3, as shown in FIG.
  • the display and operation module 4 can operate on a computer operating system of the control system 3 or on another separate computer operating system in communication with the control system 3.
  • the display and operation module 4 displays the video screens of the first and second camera systems 1, 2 to the user through the display 5, and also displays the control system and the user operation interface to the operator through the display 5, referring to FIG. A screen shot of the display device.
  • the video surveillance system of the present invention further includes one or more video recorders 6 for recording and storing video captured by the first camera system 1 and the second camera system 2.
  • the video recorder 6 can be connected to the operation and display module 4 or directly to the first and second camera systems 1, 2.
  • control system 3 can communicate with remote clients via a server and network.
  • the video captured by the first and second camera systems 1, 2 is compressed and uploaded to the server, and then the video is sent to the remote client through the network.
  • the user can manage and manipulate the control system 3 of the video surveillance system of the present invention over a network at a remote client.
  • the user can pre-define the range of the area to be monitored by the first camera system 1 by the control system 3, and then use the second camera system 2 to be interested in the user-defined monitoring range.
  • the target is subject to tracking shooting.
  • the present invention may further comprise one or more auxiliary light source systems, which may adjust the illumination area of the auxiliary light source system according to the area covered by the first or second camera system, in the case of dim natural light Make enough light in the monitored area.
  • the control system 3 includes: an image acquisition module 31 for receiving wide-angle video in a large scene view taken by a wide-angle camera of the first camera system; and a distortion correction module 32 for correcting The video image captured by the wide-angle camera is distorted; a foreground extraction module 33 for extracting the target of interest from the wide-angle video; a target tracking module 34 for maintaining or updating the trajectory of one or more objects of interest; The queuing module 35 assigns the object of interest to the corresponding second camera system based on a preset rule The PTZ cameras are sequentially photographed; a coordinate conversion module 36 converts the two-dimensional coordinates of the center position of the target region of interest in the wide-angle video captured by the first camera system 1 into the corresponding second camera system 2 The vertical height angle and horizontal azimuth of the PTZ camera when its center is align
  • the image acquisition module 31 The video captured by the camera can also be spliced, and the spliced video is provided to the distortion correction module 32, and the distortion correction module 32 Not only makes the wide-angle video more suitable for viewing, but more importantly, in subsequent processing, the coordinate conversion module 36 converts the pixel point coordinates in the wide-angle video image to PTZ.
  • the camera's vertical and horizontal azimuth angles are more accurate. Distortion correction methods are widely described in published papers at home and abroad. For example, Z. Zhang was published in 1999.
  • the distortion parameters are fixed for each wide-angle camera, so each wide-angle camera can be calibrated once before use and the resulting parameters are stored in the system. In the future use, the same parameters can be used for each frame of the wide-angle video captured by the wide-angle camera.
  • the corrected wide-angle video image is used in all subsequent signal processing of the monitoring system, and the coordinate conversion and target tracking are corrected. After the image.
  • the foreground extraction module 33 can process the wide-angle video captured by the wide-angle camera using the algorithm disclosed in the domestic and foreign papers, and extract the foreground pixels of the moving image in the wide-angle video. These algorithms include, but are not limited to, frame difference method, moving average method, mixed Gaussian model method, and the like.
  • the extracted foreground pixels are etched and expanded by a graphics algorithm to remove false foreground pixels caused by noise, and the remaining foreground pixels are analyzed by the connected domain to obtain the position and size information of the moving target, that is, the center position of the target of interest and Area limit rectangle.
  • the location and size information of the target of interest will be communicated to the target tracking module 34.
  • the target tracking module 34 maintains the trajectory of one or more targets and updates the one or more target trajectories maintained using the target position and size information extracted in the current frame.
  • the target tracking module 34 is also arranged to add a new target trajectory to delete the target trajectory that has disappeared.
  • Another function of the target tracking module 34 is to predict the position and speed of the target at a particular moment in the future.
  • the time that the future stays in the predefined monitoring field of view is based on the target moving speed calculated by the target tracking module 34, and estimates the time in which the target will stay in the area in the future. The shorter the time, the faster the target will be. Leave the area.
  • the target queuing module 35 determines the target of interest to be captured by each PTZ camera at the current time
  • the position, velocity and size information of these targets is sent to the coordinate conversion module 36.
  • the position, velocity and size information of each target of interest is converted into the vertical height angle, horizontal azimuth, magnification, and focal length of the corresponding PTZ camera, and these parameters are used to control the vertical elevation angle of the PTZ camera,
  • the adjustment of the horizontal azimuth, magnification, and focal length adjusts the lens of the PTZ camera to the position of the currently assigned target and the required magnification and focal length for shooting and tracking.
  • the coordinate conversion module 36 is configured to analyze and process the wide-angle video captured by the wide-angle camera. Obtaining information such as two-dimensional coordinates of the target area projected on the wide-angle video image plane, the moving speed of the target, and the size of the target area, and then converting the two-dimensional coordinates of the target center position into a PTZ camera aligned with the target center position.
  • the vertical height angle, the horizontal azimuth angle, and the magnification and focus distance are such that the target area is captured by the corresponding PTZ camera, and the output high resolution magnified video is displayed in the center of the screen of the second display device and fills the entire screen as much as possible.
  • the function of the coordinate conversion module 36 mainly includes two aspects: 1) performing coordinate conversion on the center position of the target region of interest, and projecting the center position of the target region of interest on the wide-angle video image of the first imaging system 1.
  • the two-dimensional coordinates of the upper pixel point are converted into the second camera system 2 PTZ camera aligns the vertical and horizontal azimuth angles when changing the target center position; and, 2) calculates the magnification of the PTZ camera to make PTZ
  • the center of the target area of interest captured by the camera is located at the center of the display screen and fills the target area of interest as much as possible with a predefined display screen in the second display device.
  • the image plane coordinate system of the first camera system 1 and the image plane coordinate system of the second camera system 2 are finely calibrated to coordinate mapping and conversion between the two. More precise.
  • the so-called coordinate calibration refers to matching the positions of the corresponding pixel points on the image planes of the two imaging systems, thereby establishing a mapping relationship between the two.
  • the so-called calibration point refers to the point in the real world captured in the field of view of the large scene covered by the wide-angle camera.
  • the calibration point usually selects a position where the feature is relatively significant, and is easily identifiable in the wide-angle camera and the PTZ camera image picture, so that the calibration of the calibration point is conveniently achieved between the two cameras when the calibration is performed.
  • the operator can operate the PTZ camera in manual mode with its center aligned to the calibration point, recording the current elevation and azimuth ( ⁇ , ⁇ ) of the PTZ camera.
  • the two-dimensional coordinates ( x, y ) of the calibration point located on the wide-angle video image plane captured by the wide-angle camera are obtained by the control system 3, so that the image of the calibration point in the first and second camera systems 1, 2 is obtained.
  • the corresponding pixels on the plane match each other.
  • the above-mentioned height angle ⁇ , azimuth angle ⁇ , and two-dimensional coordinates ( x, y ) of the calibration points can be obtained, and then A coordinate transformation mapping parameter matrix A can be obtained by using the least squares method.
  • the coordinate conversion parameter mapping matrix A is related to the relative position and angle of the wide-angle camera and the PTZ camera, and therefore the coordinate parameter conversion mapping matrix A remains constant in the case where the relative position and angle between the two are not changed.
  • FIG. 3 wherein the wide-angle video (left side picture) and PTZ of the large scene captured by the wide-angle camera are displayed on the display device.
  • Partial video of the enlarged target area captured by the camera (right screen) In addition, a large zoom area is defined in the upper left corner of the wide-angle video of the wide-angle camera.
  • the enlarged image in the video picture taken by the wide-angle camera for the selected target area is enlarged, and the enlarged pixel image is more blurred than the coarse image.
  • a user operation interface is provided below the monitoring screen.
  • the example shown here is an operation interface included in the control system 3 for scaling the wide-angle camera and the PTZ camera; wherein the operation interface includes a group of control PTZ cameras.
  • the video screen displays information options, as shown on the far right side; there is also a 'fixed coordinate set' area, as shown in the left side of the list area indicated by the arrow line M2.
  • PTZ camera control menu is also provided in the middle of the operation interface. M3, including: zoom in, zoom out, up, down, left, right, left up, down left, right up, down right, and speed control bar, etc.
  • These function keys are used to control PTZ Adjustment of the camera's horizontal azimuth and vertical height angle.
  • function buttons required for the calibration step such as: reading calibration data, confirming, completing, saving, deleting, deleting all, etc., for determining Standard operation.
  • the user double-clicks on any of the selected punctuation in the 'Confirmed Coordinates Set' list, and the PTZ camera will automatically adjust the PTZ The vertical height angle, horizontal azimuth and magnification of the camera, so that the punctuation to be selected clearly appears in PTZ The center of the camera screen. Thereby, the user can check whether the coordinates of the calibration point on the wide-angle video image plane are accurately converted into the horizontal azimuth and the vertical elevation angle of the PTZ camera. Through the operation interface shown in FIG. 3, the user can also select and delete any one or more of the punctuation points in the selected punctuation list.
  • the next step is to use the following formula when performing coordinate transformation on the center point coordinates ( x, y ) of any target area: among them, , f x , f y is the focal length in units of the x and y directions of the pixel, c x , c y is the coordinate of the center of the wide-angle camera picture, the unit is the pixel, and A is the coordinate transformation mapping parameter matrix.
  • Equation (1) represents a mapping from any point (X, Y) in the image plane of the wide-angle camera to the vertical and horizontal azimuths ( ⁇ , ⁇ ) in the PTZ camera, where f x , f y , c x , c y , and matrix A are the parameters of this mapping.
  • f x , f y , c x , c y can be obtained by the distortion correction method
  • matrix A needs to be obtained by the least square method by selecting more than three 'scaling point' data through the calibration step.
  • the distance between the wide-angle camera image plane (X*, Y*, O*) and the wide-angle camera center O w is the focal length f of the wide-angle camera, and the coordinates of the image points on the image plane at points ( x w , y w , z w ) are ( x*, y*).
  • O* is the optical center of the wide-angle camera image plane, and is also the projection of the PTZ camera center Op in the image plane.
  • the dimensions of r ′ , x ′ , c x ' , y ′ , c y ' in equation (3) are all length units, such as mm, and the dimensions in the video picture are usually pixel units. Therefore, in order to facilitate the use of the above method, it is necessary to convert the dimension from the unit of length to the unit of pixels. Since the pixels of the CCD type digital camera may have deviations in the length of the x and y directions, we need to consider this factor here, so we introduce m x , m y , that is, the length of each pixel in the x direction and the y direction.
  • the center position of the target region of interest in the wide-angle video image captured by the first camera system 1 can be converted into the PTZ camera in the second camera system 2 by the coordinate conversion mechanism of the coordinate conversion module 36 of the present invention described above. a horizontal azimuth and a vertical azimuth when the central position of the target area is aligned, the center position of the target area being located at the center of the picture of the partial video image captured by the PTZ camera of the second camera system 2;
  • the present invention can convert the size information of the target area in the video image captured by the first camera system 1 into the focal length of the PTZ camera of the second camera system 2, and adjust the PTZ of the second camera system 2.
  • the zoom value of the camera causes the above-mentioned target area of interest to be enlarged and filled with the picture taken by the second camera system 2. Therefore, after the coordinate conversion module 36 is processed, the coordinates of the target area center point and the height angle and azimuth angle of the corresponding PTZ camera ( ⁇ , ⁇ ) and the focal length of the PTZ camera can be obtained, and the information will be sent to the PTZ.
  • the camera control module 37 is configured to control the movement of the PTZ camera in the vertical direction and the horizontal direction as well as the focal length.
  • control system 3 is further arranged such that the user can select, by means of its operation interface, arbitrarily select the extracted target region of interest from the wide-angle video image in the manual mode or the semi-automatic mode. For example, by clicking a rectangular frame of a target area, the PTZ camera of the second camera system is controlled to track and enlarge the selected target. The user can also use the mouse to move the cursor, and arbitrarily define a part of the target area of interest in the wide-angle video image, so that the target area is tracked and photographed by the second camera system, displayed in the center of the second display device and fills the entire screen as much as possible.

Abstract

本发明提供一视频监控系统，包括一第一摄像系统，其包含一个或多个摄像机用于拍摄大场景视域内的广角视频，一第二摄像系统，其包含一个或多个PTZ摄像机用于拍摄大场景视域内的局部视频，以及一控制系统。该控制系统包括一图像采集模块，用于接收第一摄像系统所拍摄的广角视频；一前景提取模块，用于从广角视频中提取感兴趣的目标；一坐标转换模块，利用一坐标转换机制将第一摄像系统拍摄的大场景视域中的任意点投影于第一摄像系统拍摄的广角视频的图像平面上的二维坐标（x，y）转换为第二摄像系统中的一被选择PTZ摄像机在其画面中心对准该任意点时的垂直高度角θ和水平方位角φ；其中该坐标转换机制是通过在所述大场景视域内随机选取的至少三个任意点来建立。

Description

多目标跟踪特写拍摄视频监控系统 技术领域
本发明主要涉及智能视频监控技术领域，特别是涉及一种由拍摄大场景的第一摄像系统, 跟踪其中的多个目标的控制系统 , 以及特写拍摄各个跟踪目标的第二摄像系统组成的视频监控系统。
背景技术
在很多应用中，需要对较大场景范围进行视频监控，通常的做法是利用少数广角摄像机覆盖大场景。由于广角摄像机视角较广，又因受限于图像传感器的分辨率，因而对所拍摄的大场景中的具体目标物体的分辨率都普遍较低，很难从拍摄的图像中获取目标物体的细节信息。
现有的解决方案之一是使用较多个分布的长焦距固定摄像机来覆盖一个大场景，将这些分布的摄像机分别拍摄到的画面进行拼接。这种解决方案的缺点是需要大量增加摄像机，使购买设备、安装布线以及录像存储的成本大为提高。
另一种可能的解决方案是利用较少数量的几个可以在水平方向和垂直方向旋转并且可以变焦的摄像机（又可简称为PTZ摄像机）来实现对大场景的监控。其中一种方式是由监控人员人工操控PTZ摄像机的旋转和变焦，对大场景进行扫描覆盖。但是 , 在无人操控的状态下PTZ摄像机一般停留在广角设置状态，此时则将无法拍摄大场景中目标物体的细节，而当PTZ摄像机停留在长焦设置状态时 , 则只能覆盖大场景中很小的一部分。另一种方式，是在没有无人干预的情况下，使PTZ摄像机按照预先设定的巡航路线来扫描覆盖大场景，在这种方式下 , PTZ 摄像机沿着预定巡航路线移动， 在每个预设的预置点停留一定时间后转向下一个预置点。这后一种方式下，因为PTZ摄像机只能沿着预先设定的路线进行巡航，因此有些物体很有可能完全避开摄像机的拍摄。
美国专利US6，215，519中公开了一种结合广角和局部图像拍摄的视频监控系统，在该系统中一个第一图像摄像系统具有对大场景进行拍摄的广角视域，在一个或多个第二图像摄像系统中，其每个图像摄像系统被设置定位于大场景中的一部分区域，并能够以大于第一图像摄像系统的分辨率对该第二图像摄像系统所对应的区域中的感兴趣目标进行跟踪拍摄。
另一美国专利US6,724,421中则公开了一种包括用于导航的主摄像机和用于跟踪目标的从摄像机的视频监控系统，在该系统中一固定设置的导航主摄像机用于拍摄大场景的全景，一个或多个从摄像机则定位于用来拍摄该大场景中的一部分的某个适当的位置。该发明专利中指出了在得到监控的大场景区域内的任意点的位置可以利用坐标系，如直角坐标、极坐标或球形坐标系来予以描述。图像中的每个像素均可以被映射并标识于一个参考坐标系，因而场景中每个区域中的任意点都有一个对应的坐标储存于计算机系统中。每当通过导航主摄像机检测到一个感兴趣目标时，计算机会引导从摄像机水平、垂直旋转及/或变焦，从而瞄准目标并跟踪目标的移动。
上述两种现有技术所描述的视频监控系统都提出了利用广角摄像机和PTZ摄像机进行主从配合的方式来解决上面所述存在的技术问题。但是，所有包括这两篇专利文献在内的现有技术在有效实现不同摄像机系统之间的精确互动和控制方面，尚有很多未解决的问题和不足。因此，本发明旨在针对上述现有技术的不足，提供一种成本较低的视频监控系统，不仅能有效地对大场景实现全面监控，而且能准确捕捉大场景中的目标物体的细节信息，使系统的工作效率以及所获得的图像质量均大为提高。
发明内容
本发明的目的在于提供一种多目标跟踪视频监控系统，具有以较低分辨率拍摄大场景视域的广角视频的第一摄像系统，并跟踪其中的多个感兴趣目标，以及以较高分辨率特写跟踪拍摄各个感兴趣目标的第二摄像系统，通过其改进的控制系统可以有效实现第一和第二摄像系统之间的精确互动和控制，目标的跟踪和分配拍摄，在降低系统成本的同时提高系统的性能。
根据本发明的一个方面，提供了一种视频监控系统，包括一第一摄像系统，其包含一个或多个广角或 PTZ 摄像机用于拍摄大场景视域内的广角视频，一第二摄像系统，其包含一个或多个 PTZ 摄像机用于拍摄大场景视域内的局部视频，以及一控制系统。其中，所述控制系统包括一图像采集模块，用于接收第一摄像系统所拍摄的较低分辨率的广角视频；一前景提取模块，用于从所述广角视频中提取感兴趣的目标；一坐标转换模块，其利用一坐标转换机制将第一摄像系统拍摄的大场景视域中的任意点投影于所述第一摄像系统拍摄的广角视频的图像平面上的二维坐标（x，y）转换为所述第二摄像系统中的一个被选择的 PTZ 摄像机在其中心对准所述任意点时的垂直高度角 θ 和水平方位角 φ ；其中所述坐标转换机制是通过在所述大场景视域内随机选取的至少三个任意点来建立。
进一步地，根据本发明所提供的视频监控系统，所述坐标转换机制通过以下步骤来建立：
  • 选取位于大场景视域内的一任意点；
  • 确定所述第二摄像系统的 PTZ 摄像机在其中心对准所述任意点以定标时的垂直高度角 θ 和水平方位角 φ ；
  • 确定所述任意点投影于所述第一摄像系统拍摄的广角视频图像平面上的坐标（x，y）；
  • 通过随机选取至少三个任意点的上述数据确定一坐标转换映射参数矩阵 A ；
  • 利用所述映射参数矩阵 A 建立所述第一摄像系统的摄像机的像平面像素坐标（x，y）与相应的第二摄像系统的 PTZ 摄像机的垂直高度角和水平方位角（ θ ， φ ） 之间的坐标转换方程式。
优选的是，所述坐标转换模块中的坐标转换机制可利用以下的方程式：
Figure PCTCN2011076452-appb-M000001
其中，
Figure PCTCN2011076452-appb-I000001
， f x ， f y 是以像素 x 和 y 方向的尺寸为单位的焦距长度，（c x ，c y ）是广角摄像机画面中心的坐标， A 是所述坐标转换映射参数矩阵。
进一步地，所述坐标转换模块还用来计算从所述第一摄像系统中提取的感兴趣目标区域的图像大小放大至所述第二摄像系统拍摄的焦距。
更为优选的是，所述控制系统在所述坐标转换模块之前还设有一畸变校正模块，用于在实行坐标转换前校正第一摄像系统拍摄的视频图像畸变，从而使坐标转换模块在将第一摄像系统拍摄的图像中的每一个像素点转换为第二摄像系统的 PTZ 摄像机的垂直高度角和水平方位角时更为精确。
进一步地，所述控制系统在所述前景提取模块之后还设有一目标跟踪模块，用于维护并更新一个或多个感兴趣目标的轨迹。特别的是，所述目标跟踪模块还可以预测感兴趣目标在未来特定时刻的位置和速度。
进一步地，所述目标跟踪模块可被设置为在完全自动模式、半自动模式、或者完全手动模式工作。
再进一步地，所述的视频监控系统的控制系统还可包括一目标排队模块，基于预先设定的规则将感兴趣目标分配给相应的第二摄像机系统中的 PTZ 摄像机按顺序进行拍摄，所述预设规则包括：
  • 被相应的 PTZ 摄像机拍摄时间最少的目标拥有最高优先级；
  • 未来在预定义的监控区域内停留时间最短的目标拥有次优先级。
通过以上所述的技术方案，本发明的视频监控系统实现了对多个目标的实时跟踪与拍摄，通过坐标定标以及畸变校准在两个摄像系统的摄像机之间实现精确定位和互动控制；更为有利的是，还提供了多种跟踪目标的工作模式和分配目标进行按顺序拍摄的预设规则，优化了目标的提取和跟踪方式，实现对硬设资源的充分利用，降低成本，提高了系统的质量和性能。
附图说明
图1为根据本发明的一种具体实施例的智能视频监控系统的结构示意图；
图2为示例性说明本发明的视频监控系统拍摄大场景画面和跟踪拍摄其中的多个目标感兴趣区域的放大画面的示意图；
图3为本发明的视频监控系统显示器的截屏图像示例 ， 显示了放在左侧的大场景和放在右侧的感兴趣区域放大画面以及画面下方用于实行定标操作的菜单部分的用户界面；
图4为根据本发明的视频监控系统控制系统的坐标转换机制的几何原理图释。
具体实施方式
图1至图3结合描述了根据本发明的多目标跟踪视频监控系统的基本构成，如图1所示 ， 本发明的视频监控系统包括两组摄像系统1、2，并由至少一组控制系统3对其实行控制。其中，第一摄像系统1可包含一个或多个摄像机，覆盖所需监控的大场景视域，提供一般分辨率的广角视频输送给监控系统的第一显示装置显示 ， 如图2的示意图中的左侧画面或图3的显示器截屏左侧画面所示；第二摄像系统2包含一个或多个 PTZ 摄像机，具有可以调节的视场，覆盖大场景视域内的一部分，经光学放大后以高清晰分辨率的视频输送给监控系统的第二显示装置显示，如图2的示意图中的右侧画面中的I、II、III画面或图3的显示器截屏右侧画面所示。
通常，第一摄像系统1应用广角摄像机将整个被监控的大场景覆盖，将所拍摄的视频流输送给控制系统3。在实际应用中，该第一摄像系统1可以是由一个或多个固定广角摄像机组成 ， 例如但不限于：广角的定焦定向摄像机、360度全景摄像机，或者也可以采用水平方向及垂直方向可旋转并且可以变焦的PTZ摄像机。第二摄像系统2包括至少一个可以水平/垂直旋转并可改变焦距的PTZ摄像机，因而可以调整其视场，对准感兴趣的目标区域进行光学放大拍摄。在另一具体实施例中，第一摄像系统1和第二摄像系统2都由一个或多个可以在水平方向和垂直方向旋转并且焦距可变的PTZ摄像机组成。第一和第二摄像系统1、2中的摄像机可以具有主从关系或并列关系，在某些情况下，这种主从关系也可以根据环境的变化实现互换。可以理解的是，控制系统3可以是普通的计算机、工业控制计算机、或嵌入式计算系统等任何适当的可编程计算机，所述控制系统3的具体构成、功能及其运行的细节将在后面的段落中予以详细描述。
图2所示是为说明目的而展示的根据本发明的视频监控系统一个典型的简化实例，其中的视频监控系统包含一个构成所述第一摄像系统1的广角摄像机，一个构成所述第二摄像系统2的PTZ摄像机，以及一个控制所述广角摄像机和PTZ摄像机的控制系统3。根据本发明的原理，该控制系统3将对第一摄像系统1利用广角摄像机拍摄的广角视频进行处理，并可以从所述广角视频图像中提取出多个感兴趣的目标。图2中左侧的画面即是通过本监控系统的第一显示装置显示的由广角摄像机拍摄的大场景视域内的广角视频画面，其中用三个小的矩形框（i、ii、iii）标出的区域为控制系统3提取并跟踪的感兴趣目标区域。控制系统3将引导第二摄像系统2的PTZ摄像机跟踪这些感兴趣的目标，并以高分辨率对目标区域进行放大拍摄，其输出的视频通过第二显示装置显示。图2中右侧放大了N倍的画面中的三个矩形框（I、II、III）分别是通过第二显示装置显示的由PTZ摄像机2跟踪拍摄的这些感兴趣目标区域（i、ii、iii） 的高分辨率放大图像。
可以理解的是，上述广角视频图像以及其中这些被跟踪的感兴趣目标区域的放大图像，可以被分别显示在不同的显示器屏幕上，也可以被显示在同一个显示器屏幕上分割出来的不同画面区域，例如，如图3中所示的并列显示模式。在同一屏幕上分割显示了来自第一和第二摄像系统的不同视频画面。同理，这些分割区域可以是大小相同，也可以大小不同，屏幕分割显示属于现有技术习知领域，因为与本发明的要旨无关，在此不作赘述。
在图1所示的本发明优选实施例中，采用了多个广角摄像机镜头相互配合拍摄较大的监控场景。在另外的具体实施例中，也可以采用一个或多个控制系统3来分别捕获多个感兴趣的目标区域，并且同时控制多个PTZ摄像机的可调节视场，分别跟踪拍摄这些目标区域的高分辨率视频。
用户一般通过与控制系统3通信连接的显示和操作模块4，通过显示装置5实现对场景的监控以及对广角摄像机以及PTZ摄像机的操控，如图1所示。根据本发明的具体实施例，所述显示及操作模块4可以在控制系统3的计算机操作系统上运行，也可以在与控制系统3通信连接的其它独立的计算机操作系统上运行。所述显示及操作模块4除了将第一和第二摄像系统1、2的视频画面通过显示器5显示给用户，同时也将控制系统和用户操作界面通过显示器5显示给操作者，参考图3的显示装置的屏幕截屏。
另外，本发明的视频监控系统还包括一台或多台视频录像机6，用于录制存储第一摄像系统1和第二摄像系统2所拍摄的视频。录像机6既可以和操作及显示模块4连接，也可以和第一和第二摄像系统1、2直接连接。
可选择地，控制系统3可以通过服务器和网络与远程客户端通信连接。第一和第二摄像系统1、2拍摄的视频经过压缩处理后上传至服务器，再通过网络将视频发送给远程客户端。用户可以通过网络在远程客户端管理和操控本发明的视频监控系统的控制系统3。
根据本发明的一种具体实施方案，用户可以通过控制系统3根据需要来预先定义第一摄像系统1所要监控的区域范围，然后，利用第二摄像系统2对用户定义的监控范围内的感兴趣目标实行跟踪拍摄。在一些优选的实施例中本发明还可包括一个或多个辅助光源系统，可以根据第一或第二摄像系统所覆盖的区域，调节该辅助光源系统的照射区域，在自然光线昏暗的情况下使被监控区域有足够的光照。
现在，参照图1中的控制系统3的框图来举例说明本发明视频监控系统的控制系统3的具体构成、功能和原理。从图1可以看出，所述控制系统3包括：一图像采集模块31，用于接收第一摄像系统的广角摄像机所拍摄的大场景视域内的广角视频；一畸变校正模块32，用于校正广角摄像机所拍摄的视频图像畸变；一前景提取模块33，用于从广角视频中提取感兴趣的目标；一个目标跟踪模块34，用于维护或更新一个或多个感兴趣目标的轨迹；一个目标排队模块35，基于预先设定的规则，将感兴趣目标分配给相应的第二摄像机系统中的 PTZ 摄像机按顺序进行拍摄；一坐标转换模块36，将第一摄像机系统1所拍摄的广角视频中的感兴趣目标区域的中心位置的二维坐标转换为相应的第二摄像机系统2中的 PTZ 摄像机在其中心对准所述感兴趣目标区域的中心位置时的垂直高度角和水平方位角 ， 同时也将第一摄像机系统1所拍摄的广角视频中目标区域的大小转换为相应的第二摄像机系统2中的PTZ摄像机拍摄所述目标区域的光学放大倍数即PTZ相机的焦距；以及一 PTZ 摄像机控制模块37，用于调节 PTZ 摄像机在垂直方向和水平方向上的运动以及焦距变化。
在第一摄像系统1 的摄像机多于一台的情况下，图像采集模块31 还可以对摄像机拍摄的视频进行拼接，将拼接后的视频提供给畸变校正模块32，畸变校正模块32 不仅使得广角视频更适于观看，而且更重要的是在后续的处理中，使得坐标转换模块36 在将广角视频图像中的像素点坐标转换为PTZ 摄像机的垂直高度角和水平方位角时更精确。畸变校正方法在国内外已公开的论文中有广泛的介绍，举例来说，Z. Zhang 发表于1999 年9 月召开的计算机观察希腊科夫国际会议第666-673 页上的“从未知方向观察平面对摄像机进行灵活定标”中就介绍了这样一种简单易行的方法，该方法使用被校正广角摄像机拍摄多幅标准黑白棋盘格的不同远近及不同方向的图片，即可估计出该广角摄像机的一系列畸变参数，从而建立一个从畸变图像到校正后的非畸变图像的映射。
畸变参数对于每个广角摄像机都固定不变，因此每个广角摄像机在使用前可以校正一次，并且将得到的参数存储在系统中。在以后的使用中，广角摄像机拍摄的广角视频的每一帧图像均可使用同样的参数，校正后的广角视频图像被运用在监控系统后续的所有信号处理中，坐标转换以及目标跟踪均使用校正后的图像。
前景提取模块33可以使用国内外论文中已公开的算法来处理广角摄像机拍摄的广角视频，提取出广角视频中运动图像的前景像素。这些算法举例来说包括，但不仅限于：帧差法、移动平均法、混合高斯模型法等。所提取出的前景像素经过图形学算法腐蚀和膨胀，去除噪声导致的虚假前景像素，剩下的前景像素由连通域分析后，获取运动目标的位置和大小信息，即感兴趣目标的中心位置和区域限位矩形框。
感兴趣目标的位置和大小信息将被输送到目标跟踪模块34。目标跟踪模块34维护一个或多个目标的轨迹，并且利用当前帧中提取的目标位置和大小信息更新所维护的一个或多个目标轨迹。目标跟踪模块34还被设置为可以添加新的目标轨迹，删除已经消失的目标轨迹。目标跟踪模块34的另一个功能是可以预测目标在未来某个特定时刻的位置和速度。
根据本发明的一种具体实施方案，目标跟踪模块34可以设有各种跟踪目标工作模式，例如：可以选取第一摄像系统中的多个运动物体中的一个或几个，控制第二摄像系统中的一个或多个摄像机，分别对这些物体进行高分辨率视频拍摄。根据用户参与形式的不同来概括，目标跟踪模块的工作模式主要包括以下三种：
  • 完全自动模式：由一套自动排序模式预先设定运动物体的优先级，由目标跟踪模块34来决定对哪个物体拍摄高分辨率视频，由目标跟踪模块34和PTZ摄像机控制模块37自动控制第二摄像系统的PTZ摄像机对目标进行拍摄，使被跟踪目标始终展现在第二摄像系统拍摄的视频图像画面的中心，并且尽量充满整个画面；
  • 半自动模式，由用户通过显示屏幕来选取目标 ， 在显示装置左侧显示的大场景视域的广角视频画面中选定已跟踪的目标中的任意一个，然后由监控系统的控制模块3自动控制第二摄像系统2跟踪目标，使被跟踪的目标的中心位置始终保持在左侧第二摄像系统2拍摄的视频图像画面的中心，并尽量充满整个画面；
  • 完全手动模式，由用户通过在显示装置左侧的广角视频画面中，移动光标手动选取画面中的一部分区域，然后通过控制系统3手动控制第二摄像系统2中的PTZ摄像机跟踪被选定的目标区域，同样，该目标区域的画面尽量充满第二显示装置的整个显示画面。
经过目标跟踪模块34处理后的所有目标的位置、速度和大小信息被送到目标排队模块35。由于被监控的大场景中的目标个数可能会超过整个监控系统中所安装的PTZ摄像机的个数，所以在所要跟踪的感兴趣目标超过PTZ摄像机数量的情况下就需要对目标进行分时跟踪和拍摄。另外，当系统安装超过一个PTZ摄像机时，而被监控场景中的目标个数也超过一个，此时也需要将不同的目标分配给不同的PTZ摄像机来跟踪和拍摄。目标排队模块35基于一定的预设规则，分配所跟踪的目标按顺序进行拍摄，将特定目标分配给相应的PTZ摄像机来跟踪，令各个目标按一定的分时规则分配给各个PTZ摄像机进行排序等待拍摄。目标排队的规则可根据实际的应用需要来制定，举例来说，根据本发明推荐的具体实施例，所述目标排队规则包括如下规则：
  • 被PTZ摄像机拍摄时间最少的目标拥有最高的优先级；
  • 未来在预定义的监控视域内停留时间最短的目标拥有次优先级。
其中，未来在预定义的监控视域内停留的时间是根据目标跟踪模块34计算出的目标移动速度，估计出目标未来还将在该区域内停留的时间，该时间越短说明该目标将越快离开该区域。
由目标排队模块35确定当前时刻每个PTZ摄像机将要拍摄的感兴趣目标之后，这些目标的位置、速度和大小信息被送到坐标转换模块36。每个感兴趣目标的位置、速度和大小信息均被转换成对应的PTZ摄像机的垂直高度角、水平方位角、放大倍数、以及焦距，而这些参数则被用以控制PTZ摄像机的垂直高度角、水平方位角、放大倍数以及焦距的调整，将PTZ摄像机的镜头调整至对准当前被分配目标的位置和所需要放大倍数以及焦距进行拍摄和跟踪。
坐标转换模块36用来对广角摄像机拍摄的广角视频进行分析和处理 ， 得到目标区域的中心位置投影于广角视频图像平面上的二维坐标，目标的移动速度和目标区域的大小等信息，然后将目标中心位置的二维坐标转换成PTZ摄像机对准该目标中心位置的垂直高度角、水平方位角、以及放大倍数和聚焦距离，使得目标区域由相应的PTZ摄像机拍摄，输出高分辨率放大视频显示于第二显示装置的屏幕中央并尽量充满整个屏幕。
因此，坐标转换模块36的功能主要包括两个方面：1）对感兴趣目标区域的中心位置的进行坐标转换，将所述感兴趣目标区域的中心位置投影于第一摄像系统1的广角视频图像上的像素点的二维坐标，转换为第二摄像系统2的 PTZ 摄像机对准改目标中心位置时的垂直高度角和水平方位角；以及，2）计算 PTZ 摄像机的放大倍数，使 PTZ 摄像机所拍摄的感兴趣目标区域的中心位于该显示屏幕的中央并使该感兴趣目标区域尽量充满第二显示装置中预定义的显示屏幕 。
为了对目标区域的中心位置实行坐标转换，首先要对第一摄像系统1的像平面坐标系与第二摄像系统2的像平面坐标系进行精确定标，使两者之间的坐标映射与转换更为精确。所谓坐标定标是指将两个摄像系统的像平面上对应的像素点位置进行匹配，以此建立两者之间的映射关系。所谓定标点指的是在广角摄像机所覆盖的大场景视域内拍摄得到的真实世界中的点。该定标点通常都选择特征比较显著的位置，在广角摄像机和PTZ摄像机图像画面中都容易辨认的点，以便在实行定标时，方便地在两个摄像机之间实现定标点的匹配。
对于每个被选择的定标点，可以由操作者在手动模式下操作PTZ摄像机，使其中心对准该定标点，记录下PTZ摄像机当时的高度角和方位角（ θ ， φ ）。同时，通过控制系统3获取该定标点位于广角摄像机拍摄的广角视频图像平面上的二维坐标（x，y），从而使该定标点在第一和第二摄像系统1、2的像平面上的对应像素点相互匹配。采用同样的方法选取多个定标点，例如说采集至少三个定标点之后，可得到这些定标点的上述高度角 θ 、方位角 φ 和二维坐标（x，y）的数据 ，然后可利用最小二乘法求解得到一坐标转换映射参数矩阵A。该坐标转换参数映射矩阵A与广角摄像机和 PTZ 摄像机的相对位置和角度有关，因此，在两者之间的相对位置和角度不发生变化的情况下所述坐标参数转换映射矩阵A保持恒定。
现参考如图3所示的本发明的视频监控系统通过显示器呈现的监控画面和操作界面的实例，其中显示装置上所显示的是广角摄像机拍摄的大场景的广角视频（左侧画面）以及PTZ摄像机拍摄的放大的目标区域的局部视频（右侧画面）， 另外，在广角摄像机拍摄的大场景广角视频的左上角定义了一块局部放大区域 M1 ，为被选定的目标区域在广角摄像机拍摄的视频画面中的放大图像，由于其拍摄的分辨率较低，被放大后显示其像素粒子比较粗图像较为模糊。监控画面下方设有用户操作界面，在此作为举例所显示的是控制系统3所包含的用于对广角摄像机与PTZ摄像机进行定标的操作界面；其中，该操作界面包括一组控制PTZ摄像机拍摄视频的屏幕显示信息选项，如图最右侧显示；还有一'已定坐标集合'区域，如图最左侧用箭头线M2所示的列表区域。在该操作界面的中部还分别设有PTZ摄像机控制菜单 M3 ，包括：放大、缩小、向上、向下、向左、向右、向左上、向左下、向右上、向右下、以及速度控制条等操作按钮，这些功能键均用于控制 PTZ 摄像机的水平方位角和垂直高度角的调整。另外，同样在该操作界面的中部，靠近左侧，还设有定标步骤所需要的功能按钮，如：读取定标数据、确认、完成、保存、删除、全部删除等，用于进行定标操作。
在进行坐标定标时，选择前三个定标点和第四个以后的定标点的步骤有所不同。选择前三个定标点的步骤如下：
  1. 首先，通过 PTZ 摄像机控制菜单 M3 中 的操作按钮，调整 PTZ 摄像机的垂直高度角、水平方位角以及放大倍数，使待选的定标点清晰地出现在右侧 PTZ 摄像机拍摄的画面中央，此时 PTZ 摄像机的中心即对准该定标点；
  2. 然后，将光标移至左侧广角摄像机拍摄画面中待选定标点的精确位置，利用左上角通过广角摄像机拍摄画面的局部放大图像M1，可以帮助操作者精确调整光标的位置，此时点击鼠标左键，系统将记录光标所在的位置并在广角视频图像中绘制一个点，如图3左上角局部放大图像中的'十字'所示的；
  3. 接着，点击操作界面中部的'确定'按钮，即选定该定标点并将之加入到最左侧的'已定坐标集合'列表中。
根据本发明提出的坐标转换算法，在选择三个定标点以后，坐标转换映射参数已被初步估算得出，因此选择第四个及以后的定标点时， PTZ 摄像机的操作可以被简化，操作者可以更快地在 PTZ 摄像机中找到待选定标点，其具体步骤如下：
  1. 将光标移至广角摄像机画面中一个待选定标点的精确位置，通过广角摄像机拍摄的画面的左上角局部放大图像中可以容易而精确地调整光标的位置 ， 点击鼠标左键，即可在广角摄像机拍摄的画面中绘制一个点，并记录光标所在位置在广角视频图像平面的二维坐标（x， y）；
  2. 然后，在广角摄像机拍摄的广角视频画面中该待选定标点的精确位置上右键点击鼠标， PTZ 摄像机的中心将会自动移至对准该待选定标点附近，然后 ， 操作者可以使用PTZ摄像机的操作按钮，精确调整PTZ摄像机的垂直高度角、水平方位角、放大倍数Az、以及焦距E1，使该待选定标点清晰的出现在PTZ摄像机拍摄的局部视频图像的中央，此时 PTZ 摄像机的中心亦即对准该定标点；
  3. 点击'确定'，所选定的待选定标点的在广角视频图像平面的坐标（x， y）即被加入到'已定坐标集合'列表中，此时，该'已定坐标集合'中的定标点均被绘制在广角视频图像中，定标点在第一和第二摄像系统的像平面上的像素点位置匹配即完成。
用户双击该'已定坐标集合'列表中的任意一个已选定标点， PTZ 摄像机将自动调整 PTZ 摄像机的垂直高度角、水平方位角以及放大倍数，使待选定标点清晰的出现在 PTZ 摄像机画面中央。籍此，使用者可以检验该定标点在广角视频图像平面上的坐标是否精确转换成PTZ摄像机的水平方位角以及垂直高度角。通过图3中所示的操作界面，用户还可以选择并删除已选定标点列表中的任意一个或多个定标点。
接下来所要介绍的是，在对任一目标区域的中心点坐标（x， y）进行坐标转换时，可以通过利用以下的公式：
Figure PCTCN2011076452-appb-M000002
 其中，
Figure PCTCN2011076452-appb-I000002
， f x ， f y 是以像素 x 和 y 方向的尺寸为单位的焦距长度，c x ，c y 是广角摄像机画面中心的坐标，单位是像素，A则是坐标转换映射参数矩阵。
公式（1）代表了从广角摄像机像平面中的任一点（X，Y）到PTZ摄像机中的垂直高度角和水平方位角（θ ，φ ）的映射，其中 f x ， f y ， c x ， c y ，以及 矩阵 A 则是这个映射的参数。其中 f x ， f y ， c x ， c y 可以通过畸变校正方法得到，而矩阵 A 则是需要通过定标步骤，选取三个以上的'定标点'数据，以最小二乘法求解得到。
公式（1）的推导可以参考图4所示，以广角摄像机中心 Ow 为原点的三维直角坐标系中的点（ x w ， y w ， z w ），在以 PTZ 摄像机中心 Op 为原点的球面坐标系中的坐标为（
Figure PCTCN2011076452-appb-I000003
） 。
假设广角摄像机球面坐标系原点Op和PTZ摄像机坐标系原点Ow的原点的距离d足够小，即满足
Figure PCTCN2011076452-appb-I000004
， 则广角摄像机坐标系中的点 （ x w ， y w ， z w ） 及其对应的 PTZ 摄像机球面坐标 （
Figure PCTCN2011076452-appb-I000003
） 的关系如下：
Figure PCTCN2011076452-appb-M000003
其中 R 是坐标旋转矩阵，而
Figure PCTCN2011076452-appb-I000005
。
广角摄像机像平面（X*，Y*， O * ）到广角摄像机中心 Ow 的距离是广角摄像机焦距f，点（ x w ，y w ，z w ）在像平面上的成像点的坐标为 （x*， y*）。 O * 是广角摄像机像平面的光学中心，同时也是PTZ摄像机中心 O p 在该像平面的投影。（x*， y*）与（ x w ， y w ， z w ）的关系由公式（3）给出 ：
Figure PCTCN2011076452-appb-M000004
将（3）代入（2）中得到 ：
Figure PCTCN2011076452-appb-M000005
通常摄像机像平面坐标（X， Y， O）的原点 O 为像平面左上角，因此（x*， y* ）在坐标系（ X，Y，O）中的坐标为（x′， y′）=（ x*+cx'， y*+cy'），其中（cx'， cy'）是 O* 在坐标系（X，Y，O）中的坐标。将上述关系代入公式（5）得到：
Figure PCTCN2011076452-appb-M000006
其中，
Figure PCTCN2011076452-appb-I000006
。
应该注意到的是，公式（3）中 r ′ ，x ′ ，cx' ，y ′ ，cy' 的量纲都是长度单位，如mm，而通常视频画面中的量纲是像素单位，因此为了方便使用上述方法，需要将量纲从长度单位转换成像素单位。由于CCD类数字摄像机的像素可能存在x和y方向长度的偏差，我们这里需要考虑这一因素，因此我们引入mx、my，即每个像素在x方向和y方向上的长度。可以得到：
x′ = xmx
cx' = cxmx
y′ = ymy
cy' = cymy
其中（x， y）和（cx，cy）是（x ′， y ′ ）和（cx'， cy'）以像素为单位的坐标。将上述关系代入（5）即可得到公式（1）。
[根据细则20.6更正 15.07.2011]　
通过以上所描述的本发明坐标转换模块36的坐标转换机制，可以将第一摄像系统1所拍摄的广角视频图像中的感兴趣目标区域的中心位置，转换为第二摄像系统2中的PTZ摄像机在其对准该目标区域的中心位置时的水平方位角和垂直方位角，令所述目标区域的中心位置位于所述第二摄像系统2的PTZ摄像机所拍摄局部视频图像的画面中央；并且基于上述坐标转换机制，本发明可以将第一摄像系统1所拍摄的视频画面中的该目标区域的大小信息转换成第二摄像系统2的PTZ摄像机的焦距，用来调整第二摄像系统2的PTZ摄像机的变焦值，使上述感兴趣的目标区域被放大并充满第二摄像系统2拍摄的画面。因此，经过所述坐标转换模块36之后处理后，可得到目标区域中心点坐标以及相应的PTZ摄像机的高度角和方位角（θ ， φ）以及PTZ摄像机的焦距，而这些信息将被送到PTZ摄像机控制模块37，用于控制PTZ摄像机在垂直方向和水平方向上的运动以及焦距。
[根据细则20.6更正 15.07.2011]　
根据本发明的视频监控系统进一步的优选实施例，控制系统3还被设置成，用户可以通过其操作界面选择在手动模式或半自动模式下，从广角视频图像中任意选取被提取的感兴趣目标区域，例如，通过点击一个目标区域的矩形框，从而控制第二摄像系统的PTZ摄像机对选取的目标进行跟踪放大拍摄。用户也可以利用鼠标移动光标，在广角视频图像中任意定义一部分感兴趣的目标区域，使该目标区域被第二摄像系统跟踪拍摄，显示于第二显示装置的中央并尽量充满整个屏幕。
尽管上面通过举例说明，已经描述了本发明较佳的具体实施方式，本发明的保护范围并不仅限于上述说明，而是由所附的权利要求给出的所有技术特征及其等同技术特征来定义。本领域一般技术人员可以理解的是，在不背离本发明所教导的实质和精髓前提下，任何修改和变化可能仍落在本发明权利要求的保护范围之内。

Claims (10)

  1. 一种视频监控系统，包括一第一摄像系统（1），其包含一个或多个广角或PTZ摄像机用于拍摄大场景视域内的广角视频，一第二摄像系统（2），其包含一个或多个PTZ摄像机用于拍摄大场景视域内的局部视频，以及一控制系统（3），其特征在于所述控制系统（3）包括：
    一图像采集模块（31），用于接收第一摄像系统（1）所拍摄的较低分辨率广角视频；
    一前景提取模块（33），用于从所述广角视频中提取感兴趣的目标；
    一坐标转换模块（36），其利用一坐标转换机制将大场景视域中任意点投影于所述第一摄像系统（1）拍摄的广角视频的图像上的二维坐标（x，y）转换为所述第二摄像系统（2）中的一个被选择的PTZ摄像机在其中心对准所述任意点时的垂直高度角θ和水平方位角φ；其中所述坐标转换机制通过在所述大场景视域内随机选取的至少三个任意点来实行坐标定标 。
  2. 根据权利要求1所述的视频监控系统，其特征在于所述坐标转换机制通过以下步骤进行坐标定标：
    - 通过所述第二摄像系统（2）选取位于大场景视域内的任意一点以定标；
    - 确定所述第二摄像系统（2）的PTZ摄像机在其中心对准所述任意点以定标时的垂直高度角θ和水平方位角φ；
    - 确定所述任意点投影于所述第一摄像系统（1）拍摄的所述广角视频图像中的坐标（x，y）；
    - 通过随机选取至少三个任意点的上述数据确定一映射参数矩阵A；以及
    - 利用所述映射参数矩阵A建立所述第一摄像系统（1）的摄像机与相应的第二摄像系统（2）的PTZ摄像机之间的坐标转换方程式 。
  3. 根据权利要求1 所述的视频监控系统，其特征在于所述坐标转换机制可利用以下的坐标转换方程式：
    Figure PCTCN2011076452-appb-M000007
     其中，
    Figure PCTCN2011076452-appb-I000007
    ， f x ， f y 是以像素 x 和 y 方向的尺寸为单位的焦距长度，c x ，c y 是 第一摄像系统的摄像机光学中心在像平面上投影的坐标，A 是所述的映射参数矩阵。
  4. 根据权利要求1 所述的视频监控系统，其特征在于所述坐标转换模块（36）还用于计算所述第二摄像系统中的PTZ 摄像机拍摄大场景视域内的目标区域时所采用的焦距。
  5. 根据权利要求1 至4 任一项所述的视频监控系统，其特征在于所述控制系统（3）在所述坐标转换模块（36）之前还设有： 一畸变校正模块（32），用于校正第一摄像系统（1）拍摄的视频图像畸变。
  6. 根据权利要求1 至4 任一项所述的视频监控系统，其特征在于所述控制系统（3）在所述前景提取模块（33）之后还设有： 一目标跟踪模块（34），用于跟踪一个或多个感兴趣目标。
  7. 根据权利要求6 所述的视频监控系统，其特征在于所述目标跟踪模块（34）还可以记录所述感兴趣目标在过去任意时刻的位置和速度，也可以预测所述感兴趣目标在未来特定时刻的位置和速度。
  8. 根据权利要求6 所述的视频监控系统，其特征在于所述目标跟踪模块（34）可被设置为在 完全自动模式、半自动模式、或者完全手动模式工作。
  9. 根据权利要求1 至4 任一项所述的视频监控系统，其特征在于所述控制系统（3）还包括： 一目标排队模块（35），基于预先设定的规则将感兴趣的目标分配给相应的第二摄像机系统（2） 中的PTZ 摄像机按顺序进行拍摄。
  10. 根据权利要求9 所述的视频监控系统，其特征在于所述目标排队模块（35）基于以下的 预设规则将感兴趣目标分配给相应的第二摄像系统（2）中的PTZ 摄像机按所分配的顺序进行拍摄：
    - 被相应的PTZ 摄像机拍摄的时间最少的目标拥有最高优先级；
    - 未来在预定义的监控视域内停留时间最短的目标拥有次优先级。
PCT/CN2011/076452 2011-05-09 2011-06-27 多目标跟踪特写拍摄视频监控系统 WO2012151777A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110119042.3A CN102148965B (zh) 2011-05-09 2011-05-09 多目标跟踪特写拍摄视频监控系统
CN2011101190423 2011-05-09

Publications (1)

Publication Number Publication Date
WO2012151777A1 true WO2012151777A1 (zh) 2012-11-15

Family

ID=44422925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2011/076452 WO2012151777A1 (zh) 2011-05-09 2011-06-27 多目标跟踪特写拍摄视频监控系统

Country Status (2)

Country Link
CN (1) CN102148965B (zh)
WO (1) WO2012151777A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN104134005A (zh) * 2014-07-31 2014-11-05 天津市亚安科技股份有限公司 预置位偏差计算方法
CN104954644A (zh) * 2014-03-24 2015-09-30 奥林巴斯映像株式会社 摄影设备、摄像观察设备、图像比较显示方法和系统
CN107426501A (zh) * 2017-08-15 2017-12-01 天津埃特维科技有限公司 监控摄像机自动控制器及吊具用自动追焦监控摄像机系统
CN107452021A (zh) * 2016-04-19 2017-12-08 深圳正谱云教育技术有限公司 基于单镜头图像动态识别的摄像机自动跟踪系统及其方法
CN109635787A (zh) * 2019-01-22 2019-04-16 合肥市云联鸿达信息技术有限公司 一种跟踪摄像教学系统
CN109886995A (zh) * 2019-01-15 2019-06-14 深圳职业技术学院 一种复杂环境下多目标跟踪方法
CN110210378A (zh) * 2019-05-30 2019-09-06 中国电子科技集团公司第三十八研究所 一种基于边缘计算的嵌入式视频图像解析方法及装置
CN110456829A (zh) * 2019-08-07 2019-11-15 深圳市维海德技术股份有限公司 定位跟踪方法、装置及计算机可读存储介质
CN110619807A (zh) * 2018-06-20 2019-12-27 北京京东尚科信息技术有限公司 生成全局热力图的方法和装置
CN110675445A (zh) * 2019-09-27 2020-01-10 深兰科技（上海）有限公司 一种视觉定位方法、装置及存储介质
CN111028287A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 确定雷达坐标和摄像机坐标的转换矩阵的方法和装置
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
US10728459B2 (en) 2017-06-21 2020-07-28 Axis Ab System and method for tracking moving objects in a scene
EP3704854A4 (en) * 2017-12-08 2020-09-09 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING SYSTEMS AND METHODS
EP3745718A1 (en) * 2019-05-31 2020-12-02 Idis Co., Ltd. Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system
EP3606034A4 (en) * 2017-03-31 2020-12-16 Hitachi, Ltd. APPARATUS FOR IMAGING MOVING OBJECTS AND METHOD FOR IMAGING MOVING OBJECTS
CN112243083A (zh) * 2019-07-19 2021-01-19 杭州海康威视数字技术股份有限公司 抓拍方法、装置及计算机存储介质
CN112348856A (zh) * 2019-08-09 2021-02-09 盐城吉大智能终端产业研究院有限公司 基于网络系统拓扑结构的多摄像头协同分析方法及系统
CN112585941A (zh) * 2019-12-30 2021-03-30 深圳市大疆创新科技有限公司 对焦方法、装置、拍摄设备、可移动平台和存储介质
CN112800828A (zh) * 2020-12-18 2021-05-14 零八一电子集团有限公司 地面栅格占有概率目标轨迹方法
CN113068000A (zh) * 2019-12-16 2021-07-02 杭州海康威视数字技术股份有限公司 视频目标的监控方法、装置、设备、系统及存储介质
CN113286081A (zh) * 2021-05-18 2021-08-20 中国民用航空总局第二研究所 机场全景视频的目标识别方法、装置、设备及介质
CN113487683A (zh) * 2021-07-15 2021-10-08 中国人民解放军火箭军工程大学 一种基于三目视觉的目标跟踪系统
CN113542672A (zh) * 2021-05-25 2021-10-22 浙江大华技术股份有限公司 摄像机巡航方法、电子设备及存储介质
CN115035587A (zh) * 2022-08-09 2022-09-09 深圳天海宸光科技有限公司 一种高效自动巡航点名轨迹生成的系统及方法
CN115184917A (zh) * 2022-09-13 2022-10-14 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN115514940A (zh) * 2022-11-22 2022-12-23 天地伟业技术有限公司 一种多目视频监控系统搭建方法及电子设备
CN116805277A (zh) * 2023-08-18 2023-09-26 吉奥时空信息技术股份有限公司 一种视频监控目标节点像素坐标转换方法及系统
EP4270940A1 (en) * 2022-04-26 2023-11-01 Axis AB Ptz masking control

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999051B (zh) * 2011-09-19 2016-06-22 广州盈可视电子科技有限公司 一种云台控制的方法及装置
CN102447835A (zh) * 2011-10-29 2012-05-09 合肥博微安全电子科技有限公司 无盲区多目标协同跟踪方法及系统
US20130128050A1 (en) * 2011-11-22 2013-05-23 Farzin Aghdasi Geographic map based control
JP5891061B2 (ja) * 2012-02-15 2016-03-22 株式会社日立製作所 映像監視装置、監視システム、監視システム構築方法
CN103679687A (zh) 2012-09-18 2014-03-26 杭州海康威视数字技术股份有限公司 一种智能跟踪高速球机的目标跟踪的方法
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
CN103024350B (zh) * 2012-11-13 2015-07-29 清华大学 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
CN107256030B (zh) * 2013-07-05 2021-01-12 深圳市大疆创新科技有限公司 无人飞行器的遥控终端、飞行辅助系统和方法
CN103327310B (zh) * 2013-07-12 2016-11-02 浙江宇视科技有限公司 一种基于鼠标轨迹跟踪的监控和巡航方法
CN103414872B (zh) * 2013-07-16 2016-05-25 南京师范大学 一种目标位置驱动ptz摄像机的方法
CN104573617B (zh) * 2013-10-28 2018-10-02 杭州慧知连科技有限公司 一种摄像控制方法
CN103595953B (zh) * 2013-11-14 2017-06-20 华为技术有限公司 一种控制视频拍摄的方法和装置
CN103716595B (zh) * 2014-01-08 2017-03-29 深圳英飞拓科技股份有限公司 全景拼接摄像机和球机联动控制方法及装置
CN103716594B (zh) * 2014-01-08 2017-02-22 深圳英飞拓科技股份有限公司 基于运动目标检测的全景拼接联动方法及装置
CN103888731A (zh) * 2014-03-24 2014-06-25 公安部第三研究所 枪机-球机混合视频监控的结构化描述装置及系统
CN105100577B (zh) * 2014-04-21 2019-03-26 浙江大华技术股份有限公司 一种图像处理方法及装置
KR101990368B1 (ko) * 2014-05-07 2019-09-30 한화테크윈 주식회사 감시 카메라 및 감시 시스템
CN104038737A (zh) * 2014-05-30 2014-09-10 西安交通大学 主动获取感兴趣目标高分辨率图像的双摄像机系统及方法
CN104184994A (zh) * 2014-08-15 2014-12-03 杭州普维光电技术有限公司 一种摄像机与高速球关联控制方法
TWI516118B (zh) * 2014-12-22 2016-01-01 晶睿通訊股份有限公司 攝影裝置控制方法及其攝影裝置
CN104410887A (zh) * 2014-12-25 2015-03-11 安科智慧城市技术（中国）有限公司 一种基于视频的远程控制方法和装置
CN104506840B (zh) * 2014-12-25 2017-07-28 桂林远望智能通信科技有限公司 一种实时立体视频拼接装置及特写方法
CN104506819B (zh) * 2015-01-06 2018-06-15 成都新舟锐视科技有限公司 一种多摄像头实时联动的互反馈跟踪系统及方法
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控系统及其监控方法
CN104918011B (zh) * 2015-05-29 2018-04-27 华为技术有限公司 一种播放视频的方法及装置
CN106331463B (zh) * 2015-06-26 2019-05-14 小米科技有限责任公司 摄像头焦距放大方法及装置
CN105208323B (zh) * 2015-07-31 2018-11-27 深圳英飞拓科技股份有限公司 一种全景拼接画面监控方法及装置
CN105072414B (zh) * 2015-08-19 2019-03-12 浙江宇视科技有限公司 一种目标检测和跟踪方法及系统
CN105208327A (zh) * 2015-08-31 2015-12-30 深圳市佳信捷技术股份有限公司 主从式摄像机智能监控方法及装置
CN105335977B (zh) * 2015-10-28 2018-05-25 苏州科达科技股份有限公司 摄像系统及目标对象的定位方法
CN105516661B (zh) * 2015-12-10 2019-03-29 吴健辉 鱼眼相机与ptz相机相结合的主从目标监控方法
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置
SE541141C2 (en) * 2016-04-18 2019-04-16 Moonlightning Ind Ab Focus pulling with a stereo vision camera system
CN107343165A (zh) * 2016-04-29 2017-11-10 杭州海康威视数字技术股份有限公司 一种监控方法、设备及系统
CN107438152B (zh) * 2016-05-25 2023-04-07 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉方法及系统
CN105872477B (zh) 2016-05-27 2018-11-23 北京旷视科技有限公司 视频监控方法和视频监控系统
CN105847636B (zh) * 2016-06-08 2018-10-16 维沃移动通信有限公司 一种视频拍摄方法及移动终端
CN107547802A (zh) * 2016-06-23 2018-01-05 杭州海康威视数字技术股份有限公司 数据生成方法、监控相机和监控系统
CN107846549A (zh) * 2016-09-21 2018-03-27 杭州海康威视数字技术股份有限公司 一种目标跟踪方法、装置及系统
CN106603912B (zh) * 2016-12-05 2020-09-11 科大讯飞股份有限公司 一种视频直播控制方法及装置
WO2018103005A1 (zh) * 2016-12-07 2018-06-14 深圳前海达闼云端智能科技有限公司 电子设备以及对监控目标进行监控的方法和装置
CN106741008B (zh) * 2016-12-29 2020-11-06 北京交通大学 铁路线路异物识别方法及系统
CN106878679A (zh) * 2017-02-24 2017-06-20 深圳英飞拓科技股份有限公司 智能监控联动系统及控制方法
EP3596543B1 (en) * 2017-03-15 2024-04-10 Corephotonics Ltd. Camera with panoramic scanning range
CN107277631A (zh) * 2017-05-05 2017-10-20 深圳电航空技术有限公司 一种画面局部展示方法及装置
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
CN109215055A (zh) * 2017-06-30 2019-01-15 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
WO2019011205A1 (en) * 2017-07-14 2019-01-17 Request Direct (Hk) Limited SYSTEM AND METHOD FOR PROVIDING ANNOTATED AERIAL IMAGE CAPTURED BY A PILOT-FREE AIR VEHICLE
JP6856914B2 (ja) * 2017-07-18 2021-04-14 ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドＨａｎｇｚｈｏｕ Ｔａｒｏ Ｐｏｓｉｔｉｏｎｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． インテリジェントな物体追跡
CN107507107A (zh) * 2017-08-05 2017-12-22 湛引根 自动化影视创作平台、方法及其运营方法
CN107682638A (zh) * 2017-10-31 2018-02-09 北京疯景科技有限公司 生成、显示全景图像的方法及装置
CN107920235A (zh) * 2017-12-22 2018-04-17 神思电子技术股份有限公司 一种视频监控摄像机联动控制方法和装置
CN109981963A (zh) * 2017-12-27 2019-07-05 杭州百航信息技术有限公司 一种顾客身份验证系统及其工作原理
CN108200339A (zh) * 2017-12-29 2018-06-22 北京臻迪科技股份有限公司 目标追踪定位方法、系统及摄像装置
CN110113560B (zh) * 2018-02-01 2021-06-04 中兴飞流信息科技有限公司 视频智能联动的方法及服务器
CN108495085A (zh) * 2018-03-14 2018-09-04 成都新舟锐视科技有限公司 一种基于活动目标检测的球机自动跟踪控制方法及系统
CN108429881A (zh) * 2018-05-08 2018-08-21 山东超景深信息科技有限公司 免通过反复变焦取景的长焦拍摄云台相机系统应用方法
CN108600652B (zh) * 2018-05-08 2021-01-15 重庆邮电大学 多摄像机综合图像采集设备及其控制方法
CN109146927B (zh) * 2018-09-06 2021-08-27 广州市保伦电子有限公司 一种基于机器视觉的图像追踪定位方法及系统
CN111105485B (zh) * 2018-10-09 2024-02-27 杭州海康威视数字技术股份有限公司 一种线条渲染方法、装置
CN111243028B (zh) * 2018-11-09 2023-09-08 杭州海康威视数字技术股份有限公司 一种电子设备及镜头关联方法、装置
CN109584309A (zh) * 2018-11-16 2019-04-05 厦门博聪信息技术有限公司 一种枪球联动的双镜头应急布控球
CN111383251B (zh) * 2018-12-28 2023-06-13 杭州海康微影传感科技有限公司 一种跟踪目标对象的方法、装置、监控设备和存储介质
CN111372040B (zh) * 2019-06-13 2021-09-24 杭州海康威视系统技术有限公司 一种多视频监控确定坐标转换参数的方法及装置
CN110177256B (zh) * 2019-06-17 2021-12-14 北京影谱科技股份有限公司 一种追踪视频数据获取方法和装置
CN110415278B (zh) * 2019-07-30 2020-04-17 中国人民解放军火箭军工程大学 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法
CN110458866A (zh) * 2019-08-13 2019-11-15 北京积加科技有限公司 目标追踪方法及系统
CN110557566B (zh) * 2019-08-30 2021-12-17 维沃移动通信有限公司 视频拍摄方法及电子设备
CN110602401A (zh) * 2019-09-17 2019-12-20 维沃移动通信有限公司 一种拍照方法及终端
CN110647842B (zh) * 2019-09-20 2022-02-15 重庆大学 一种双摄像头课堂巡检方法及系统
CN110910430A (zh) * 2019-10-23 2020-03-24 阜阳师范大学 一种大场景主从相机协同的运动目标检测和跟踪设备
CN110969576B (zh) * 2019-11-13 2021-09-03 同济大学 一种基于路侧ptz相机的高速公路路面图像拼接方法
CN110944113B (zh) * 2019-11-25 2021-04-27 维沃移动通信有限公司 对象显示方法及电子设备
CN110995989A (zh) * 2019-11-25 2020-04-10 陈颖 一种基于人体特征定位的镜头捕捉方法
CN111126220B (zh) * 2019-12-16 2023-10-17 北京瞭望神州科技有限公司 一种视频监控目标实时定位方法
CN113393529A (zh) * 2020-03-12 2021-09-14 浙江宇视科技有限公司 摄像机的标定方法、装置、设备和介质
CN112673621A (zh) * 2020-03-20 2021-04-16 深圳市大疆创新科技有限公司 自动对焦方法、装置、云台、设备和存储介质
WO2021212499A1 (zh) * 2020-04-24 2021-10-28 深圳市大疆创新科技有限公司 目标标定方法、装置和系统及可移动平台的遥控终端
CN111698465A (zh) * 2020-04-29 2020-09-22 视联动力信息技术股份有限公司 调整监控覆盖面积的方法、装置、电子设备及存储介质
CN111491140B (zh) * 2020-05-15 2021-05-11 深圳金三立视频科技股份有限公司 输电线缆视频巡线方法及终端
CN113766093A (zh) * 2020-06-02 2021-12-07 璞洛泰珂(上海)智能科技有限公司 全景高清多焦距摄像装置、及系统
CN112036257A (zh) * 2020-08-07 2020-12-04 华中师范大学 一种无感知人脸图像采集方法和系统
CN111924101B (zh) * 2020-08-31 2024-04-09 金陵科技学院 一种无人机双云台相机及其工作方法
CN112019723B (zh) * 2020-09-07 2021-12-07 龙腾数科科技(成都)有限公司 区块链的大数据目标监控方法及系统
CN111818270B (zh) * 2020-09-10 2021-02-19 视见科技(杭州)有限公司 用于多机位摄像的自动控制方法和系统
CN111935410B (zh) * 2020-09-11 2021-03-19 视见科技(杭州)有限公司 用于多机位摄像的快速取景方法和系统
CN112637550B (zh) * 2020-11-18 2022-12-16 合肥市卓迩无人机科技服务有限责任公司 多路4k准实时拼接视频的ptz动目标跟踪方法
CN112738457A (zh) * 2020-12-03 2021-04-30 桂林长海发展有限责任公司 一种目标探测方法、装置及存储介质
CN112866578B (zh) * 2021-02-03 2023-04-07 四川新视创伟超高清科技有限公司 基于8k视频画面全局到局部的双向可视化及目标跟踪系统及方法
CN113038031B (zh) * 2021-03-02 2023-05-30 天津天地伟业智能安全防范科技有限公司 一种枪球联动的标定方法、装置、电子设备及存储介质
CN113596410A (zh) * 2021-08-24 2021-11-02 清华大学深圳国际研究生院 目标监控识别与跟踪摄像装置及方法
CN113873201B (zh) * 2021-09-27 2023-09-15 北京环境特性研究所 一种超视距制高点反向观察系统及方法
CN114630048B (zh) * 2022-03-16 2023-08-22 湖州师范学院 一种自媒体短视频拍摄装置和方法
CN115314609B (zh) * 2022-06-21 2023-11-28 中南大学 一种铝电解槽火眼视频的自动化采集方法和装置
CN114820724B (zh) * 2022-06-28 2022-09-20 浙江树人学院 一种跨场景跟踪的智能监控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
CN1605933A (zh) * 2003-10-10 2005-04-13 百呈科技股份有限公司 坐标映对方法及应用该方法的影像监视辅助装置
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2155719C (en) * 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
CN1658670A (zh) * 2004-02-20 2005-08-24 上海银晨智能识别科技有限公司 具有多摄像机的智能跟踪监控系统
CN101404726B (zh) * 2008-10-20 2012-05-02 华为终端有限公司 一种远端摄像机的控制方法、系统和装置
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
CN1605933A (zh) * 2003-10-10 2005-04-13 百呈科技股份有限公司 坐标映对方法及应用该方法的影像监视辅助装置
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN104954644A (zh) * 2014-03-24 2015-09-30 奥林巴斯映像株式会社 摄影设备、摄像观察设备、图像比较显示方法和系统
CN104954644B (zh) * 2014-03-24 2019-04-26 奥林巴斯株式会社 摄影设备、摄像观察设备、图像比较显示方法和系统
CN104134005A (zh) * 2014-07-31 2014-11-05 天津市亚安科技股份有限公司 预置位偏差计算方法
CN107452021A (zh) * 2016-04-19 2017-12-08 深圳正谱云教育技术有限公司 基于单镜头图像动态识别的摄像机自动跟踪系统及其方法
US11330162B2 (en) 2017-03-31 2022-05-10 Hitachi, Ltd. Moving object imaging device and moving object imaging method
EP3606034A4 (en) * 2017-03-31 2020-12-16 Hitachi, Ltd. APPARATUS FOR IMAGING MOVING OBJECTS AND METHOD FOR IMAGING MOVING OBJECTS
US10728459B2 (en) 2017-06-21 2020-07-28 Axis Ab System and method for tracking moving objects in a scene
CN107426501A (zh) * 2017-08-15 2017-12-01 天津埃特维科技有限公司 监控摄像机自动控制器及吊具用自动追焦监控摄像机系统
CN107426501B (zh) * 2017-08-15 2023-12-12 天津埃特维科技有限公司 监控摄像机自动控制器及吊具用自动追焦监控摄像机系统
US11206376B2 (en) 2017-12-08 2021-12-21 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
EP3704854A4 (en) * 2017-12-08 2020-09-09 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING SYSTEMS AND METHODS
CN110619807A (zh) * 2018-06-20 2019-12-27 北京京东尚科信息技术有限公司 生成全局热力图的方法和装置
CN111028287B (zh) * 2018-10-09 2023-10-20 杭州海康威视数字技术股份有限公司 确定雷达坐标和摄像机坐标的转换矩阵的方法和装置
CN111028287A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 确定雷达坐标和摄像机坐标的转换矩阵的方法和装置
CN109886995A (zh) * 2019-01-15 2019-06-14 深圳职业技术学院 一种复杂环境下多目标跟踪方法
CN109886995B (zh) * 2019-01-15 2023-05-23 深圳职业技术学院 一种复杂环境下多目标跟踪方法
CN109635787A (zh) * 2019-01-22 2019-04-16 合肥市云联鸿达信息技术有限公司 一种跟踪摄像教学系统
CN109635787B (zh) * 2019-01-22 2022-09-30 合肥市云联鸿达信息技术有限公司 一种跟踪摄像教学系统
CN110210378B (zh) * 2019-05-30 2023-04-07 中国电子科技集团公司第三十八研究所 一种基于边缘计算的嵌入式视频图像解析方法及装置
CN110210378A (zh) * 2019-05-30 2019-09-06 中国电子科技集团公司第三十八研究所 一种基于边缘计算的嵌入式视频图像解析方法及装置
EP3745718A1 (en) * 2019-05-31 2020-12-02 Idis Co., Ltd. Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system
US11153495B2 (en) 2019-05-31 2021-10-19 Idis Co., Ltd. Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system
CN112243083A (zh) * 2019-07-19 2021-01-19 杭州海康威视数字技术股份有限公司 抓拍方法、装置及计算机存储介质
CN110456829A (zh) * 2019-08-07 2019-11-15 深圳市维海德技术股份有限公司 定位跟踪方法、装置及计算机可读存储介质
CN112348856A (zh) * 2019-08-09 2021-02-09 盐城吉大智能终端产业研究院有限公司 基于网络系统拓扑结构的多摄像头协同分析方法及系统
CN110675445A (zh) * 2019-09-27 2020-01-10 深兰科技（上海）有限公司 一种视觉定位方法、装置及存储介质
CN111369684B (zh) * 2019-12-10 2023-09-01 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN113068000A (zh) * 2019-12-16 2021-07-02 杭州海康威视数字技术股份有限公司 视频目标的监控方法、装置、设备、系统及存储介质
CN113068000B (zh) * 2019-12-16 2023-07-18 杭州海康威视数字技术股份有限公司 视频目标的监控方法、装置、设备、系统及存储介质
CN112585941A (zh) * 2019-12-30 2021-03-30 深圳市大疆创新科技有限公司 对焦方法、装置、拍摄设备、可移动平台和存储介质
CN112800828A (zh) * 2020-12-18 2021-05-14 零八一电子集团有限公司 地面栅格占有概率目标轨迹方法
CN113286081B (zh) * 2021-05-18 2023-04-07 中国民用航空总局第二研究所 机场全景视频的目标识别方法、装置、设备及介质
CN113286081A (zh) * 2021-05-18 2021-08-20 中国民用航空总局第二研究所 机场全景视频的目标识别方法、装置、设备及介质
CN113542672B (zh) * 2021-05-25 2023-08-18 浙江大华技术股份有限公司 摄像机巡航方法、电子设备及存储介质
CN113542672A (zh) * 2021-05-25 2021-10-22 浙江大华技术股份有限公司 摄像机巡航方法、电子设备及存储介质
CN113487683A (zh) * 2021-07-15 2021-10-08 中国人民解放军火箭军工程大学 一种基于三目视觉的目标跟踪系统
CN113487683B (zh) * 2021-07-15 2023-02-10 中国人民解放军火箭军工程大学 一种基于三目视觉的目标跟踪系统
EP4270940A1 (en) * 2022-04-26 2023-11-01 Axis AB Ptz masking control
CN115035587A (zh) * 2022-08-09 2022-09-09 深圳天海宸光科技有限公司 一种高效自动巡航点名轨迹生成的系统及方法
CN115035587B (zh) * 2022-08-09 2022-11-15 深圳天海宸光科技有限公司 一种高效自动巡航点名轨迹生成的系统及方法
CN115184917B (zh) * 2022-09-13 2023-03-10 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN115184917A (zh) * 2022-09-13 2022-10-14 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN115514940A (zh) * 2022-11-22 2022-12-23 天地伟业技术有限公司 一种多目视频监控系统搭建方法及电子设备
CN116805277A (zh) * 2023-08-18 2023-09-26 吉奥时空信息技术股份有限公司 一种视频监控目标节点像素坐标转换方法及系统
CN116805277B (zh) * 2023-08-18 2024-01-26 吉奥时空信息技术股份有限公司 一种视频监控目标节点像素坐标转换方法及系统

Also Published As

Publication number Publication date
CN102148965A (zh) 2011-08-10
CN102148965B (zh) 2014-01-15

Similar Documents

Publication Publication Date Title
WO2012151777A1 (zh) 多目标跟踪特写拍摄视频监控系统
CN112053446B (zh) 一种基于三维gis的实时监控视频与三维场景融合方法
CN109348119B (zh) 一种全景监控系统
US9172871B2 (en) Method and device for multi-camera image correction
US7274381B2 (en) Panoramic imaging and display system with canonical magnifier
US20140347439A1 (en) Mobile device and system for generating panoramic video
WO2014023231A1 (zh) 宽视场超高分辨率光学成像系统及方法
TWI530180B (zh) 連動式攝影系統及其多攝影機的控制方法
CN107438152B (zh) 一种运动摄像机对全景目标快速定位捕捉方法及系统
CN109636763B (zh) 一种智能复眼监控系统
KR20120108747A (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
CN105657394A (zh) 基于双摄像头的拍摄方法、拍摄装置及移动终端
WO2022057800A1 (zh) 云台摄像机、云台摄像机的追踪控制方法、装置及设备
JP5183152B2 (ja) 画像処理装置
EP2684349A1 (en) Video processing apparatus, video processing system, and video processing method
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
CN113391644A (zh) 一种基于图像信息熵的无人机拍摄距离半自动寻优方法
CN104539893B (zh) 实现虚拟云台监控效果的方法、装置及系统
KR100585822B1 (ko) 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
CN111083368A (zh) 一种基于云端的模拟物理云台全景视频展示系统
CN111935410B (zh) 用于多机位摄像的快速取景方法和系统
CN104301674A (zh) 一种基于视频特征匹配的全景监控与ptz摄像机联动方法
JP2004088483A (ja) 映像情報配信システムと映像情報配信方法とそのためのサーバ
WO2020259444A1 (zh) 一种图像处理方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11864949

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11864949

Country of ref document: EP

Kind code of ref document: A1