WO2012005387A1 - 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템 - Google Patents

다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템 Download PDF

Info

Publication number
WO2012005387A1
WO2012005387A1 PCT/KR2010/004352 KR2010004352W WO2012005387A1 WO 2012005387 A1 WO2012005387 A1 WO 2012005387A1 KR 2010004352 W KR2010004352 W KR 2010004352W WO 2012005387 A1 WO2012005387 A1 WO 2012005387A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
moving object
tracking
moving
Prior art date
Application number
PCT/KR2010/004352
Other languages
English (en)
French (fr)
Inventor
정원영
Original Assignee
주식회사 비즈텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈텍 filed Critical 주식회사 비즈텍
Priority to PCT/KR2010/004352 priority Critical patent/WO2012005387A1/ko
Publication of WO2012005387A1 publication Critical patent/WO2012005387A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention captures the movement of a target object and predicts a moving path of the moving object, and acquires an image of the target object in various sizes through a camera equipped with a lens having a plurality of different magnifications, thereby making it easier to analyze and identify the target object. It is about the surveillance system which can do it.
  • cameras having different magnifications obtained from the reference camera for tracking the target object estimate the coordinates of the target object to be photographed based on the information received from the reference camera, and focus on the estimated distance.
  • multiple cameras can acquire images of different magnifications at the same time, and obtain information such as the size and moving speed of the tracking object based on the image information of each camera, and move through the obtained information.
  • surveillance systems include CCTV cameras, video surveillance systems using PC cameras, network surveillance systems that can be easily monitored from mobile phones, PDAs, PCs, etc. Suitable infrared monitoring systems, heat sensing systems that sense the temperature of objects.
  • video surveillance systems using CCTVs or PC cameras can actively identify and track surveillance targets through video to detect intrusions or illegal acts in advance, and record and receive important information. Because it can be stored, it is gaining the spotlight as a more effective means of monitoring.
  • the moving part of the moving object can be localized by using the specification of the moving object obtained from the continuously input image, and the continuous motion analysis of the object can be performed. It is possible to introduce data compression in the field of moving picture by processing the background part into the same data area.
  • the desired moving object may be localized in the image to reduce the amount of data to be processed and extract the desired part.
  • Image subtraction using the difference between two adjacent frames as a method of tracking the movement of an object based on the area after the segmentation is performed, and matching matching the next frame by extracting a feature from the previous frame.
  • the classification method according to the number of cameras can be divided into a single camera and a plurality of cameras.
  • Using a single camera is not easy to track the movement or behavior of an object in a wide area because of the limited visual range that the camera can acquire.
  • This problem can be solved by widening the limited field of view of the camera using two or more cameras.
  • the method of using multiple cameras is divided into overlapping and non-overlapping arrangements according to whether the field of view (FOV) of the cameras overlaps or does not overlap.
  • the overlap arrangement is a method in which two or more cameras share a range of fields of view
  • the non-overlap arrangement is a method of arranging cameras in a large area without overlapping screens of each camera.
  • Overlapping arrangements can be used to create detailed three-dimensional motion or three-dimensional avatars to track the movement and motion of the tracking object at various angles.
  • non-overlapping arrangements are easy to secure a wide field of view, so it is possible to track the direction of movement or pattern of movement for a long time over a large area, so it is widely used in the field of surveillance system that monitors a large area.
  • the present invention provides a method for detecting and tracking a moving object by receiving a source image from a plurality of fixed CCD cameras.
  • the system determines the direction of movement of the object.
  • a system capable of storing an image of only the area containing the moving object is realized.
  • the implemented system can save the space of the hard disk to the maximum, and because the calculation amount is small, it can detect and monitor the moving object in the larger area in real time.
  • the motion extraction from the input image information may be expressed as a region of a moving part.
  • Input image information is information data obtained by collecting a three-dimensional real world image from a camera in a two-dimensional plane, and segmentation is a process of dividing the image into parts having the same characteristics.
  • Algorithms for detecting moving objects include region-based and feature-based methods.
  • the region-based method is a method of finding an image fragment having a certain region including a characteristic in one image by using correlation with another image, and there are a difference image method and a block matching method.
  • the difference imaging method is a method of considering a difference in an image as a motion region by using a difference between two adjacent frames. It is easy to implement as an early motion tracking algorithm, but the pixel value of the corresponding coordinates between neighboring frames when the moving object overlaps between frames and when the shape of the localized moving object is changed or the camera shakes This varies so much that the performance of the zoning drops a lot. According to a pixel value, there is a method of quantizing a binary level or gray level based on a specific threshold value.
  • the block matching method is a method of finding a partial image of a certain region including a specific image in one image by using correlation with other adjacent images, and the correlation is the sum of the mean square difference value, the absolute value difference, Alternatively, the method compares data with similarity values, and since the brightness values of the pixels of the two images are used for direct matching, it is very sensitive to a specific change in the pixels used for matching.
  • the representative Full Search Block Matching Algorithm (FBMA) method of block matching searches for the motion of the entire block by one pixel for the block to be searched, and since the motion is estimated at one pixel interval compared to other block matching methods.
  • FBMA Full Search Block Matching Algorithm
  • TSS Three Step Search
  • CSA Cross Search Algorithm
  • the feature-based methods include the optical flow method, the straight line method, and the corner point method.
  • the light flow method is a 2D velocity field associated with a change in the brightness portion in the image. In fact, it is very difficult to find the motion field when estimating the motion of an object in three-dimensional space. Therefore, the optical flow in the two-dimensional image plane is obtained to approximate the three-dimensional motion field. )
  • the method is classified into a method using a differential method, a method using a correlation, a method using energy, and the like, depending on how the brightness is used to obtain an optical flow.
  • the straight-line method has several advantages over point-based matching, which can reduce the number of potential matching cases because the number of straight lines in one image is smaller than the point, and the lines themselves have distinct characteristics.
  • the straight lines are frequently generated from aerial photographs of residential areas, or images of yearly environment such as the interior of buildings.
  • the corner point method uses corner points that specify the shape of a moving object as specific flow-based information. After extracting a corner point as an element that specifies the shape of a moving object, and taking into account the region specialty around the specific point, a specific flow consisting of the motion vector of the specific point over time is obtained, and then the position of the specific point, the angle of movement of the specific vector, It is a method to track moving objects by clustering them in a specific space using the amount of movement as a parameter.
  • Moving object tracking algorithms include model-based tracking methods, area-based tracking methods, active contour-based tracking methods, and specific-based tracking methods.
  • the model-based tracking method is limited to a few tracking models because of the constraint that an exact geometrical model must be specified as an algorithm that calculates an arbitrary model and detects an object of the same type in the image and tracks the model's motion path. There are disadvantages.
  • the area-based tracking method is an algorithm that tracks the movement of an object based on the specified area by specifying the outline area of the moving object, and obtains a specific area from the continuous image, and measures the correlation by tracking the moving object. There are too many of them, which causes a decrease in computation speed.
  • the active contour-based tracking method expresses the boundary of an object as an outline and tracks it by updating it, which reduces the complexity of calculation compared to the area-based method, but has a disadvantage in that it is difficult to track a moving object when the tracking object is partially obscured.
  • the specific based tracking method is a method of extracting and tracking a specific moving object without tracking the whole object. Even if a partial blind spot occurs, the algorithm can also track a partially extracted pixel part. It has the disadvantage of being impossible to track if it is covered by.
  • the existing moving object tracking algorithms detect the moving object from the source image by performing the following process: classifying the objects of the original image using the edge detection method in the image of the previous frame; Calculating a mask of an image obtained by using the edge detection method in the previous frame and an image obtained by using the edge detection method in the image of the current frame; Generating a mask of the object by analyzing a specificity of an object in which an outline portion of the image is changed in accordance with a result of the difference operation; Detecting an outline of newly input images using an outline detection method; And detecting a moving path of the object by finding the same object in the current image as the mask obtained in the above process.
  • Such an algorithm-based method requires tracking correlations of pixel values of a region including a specific part or extracting feature values of each pixel value, and comparing or calculating all pixel values for a certain region between frames or pixels.
  • the amount of computations required for the comparison of the characteristics increases, two or more full pixel scans are required for one image, and a separate algorithm is required when a part of the moving object is blocked by an obstacle.
  • the conventional methods using the edge detection method detect the moving direction of the moving object by performing a complicated process of detecting the outline by searching all the color values of the pixels from the source images of the previous frames.
  • the conventional methods using the edge detection method detect the moving direction of the moving object by performing a complicated process of detecting the outline by searching all the color values of the pixels from the source images of the previous frames.
  • a conventional imaging apparatus using a camera is a method of acquiring an image of a desired subject in the form of a single camera manually or semi-automatically.
  • this method can only shoot at one magnification of the tracking object, which causes difficulties due to lack of image data when analyzing the captured object.
  • the present invention is to facilitate the analysis of the tracking object by obtaining images of various magnifications for the target object to be tracked and photographed.
  • cameras with different magnifications obtained from the reference camera for tracking the target object estimate the coordinates of the target object to be photographed based on the information received from the reference camera, and adjust the focus to the estimated distance.
  • This allows multiple cameras to acquire images of different magnifications at the same time, and can estimate information such as the size and moving speed of the tracking object based on the video information of each camera.
  • the object can be tracked at various magnifications accurately and acquired and stored.
  • information such as the size moving path and the speed of the object can be inferred from the distance between the plurality of cameras and the position of the image of the target object.
  • the present invention models the tracked intruder's characteristic information and transfers it to other connected cameras, and through the information transfer between the cameras, a method for continuously tracking the information and movement of the tracked target across multiple cameras and tracked intrusion results It delivers to the user's mobile terminal and provides the service for the user to check the current dangerous situation.
  • a device for physically enabling a photographing angle and a movement of a camera equipped with lenses of different magnifications is installed together on a fixing table, and the device is controlled by a camera controller receiving a control signal from a computer.
  • camera 1 is the smallest angle of view among all the cameras, making it a camera that can be viewed as a whole, and successive other cameras are composed of tracking cameras each having a different lens magnification.
  • a reference camera and a plurality of tracking cameras having different magnifications are provided, the tracking angles and movements of the tracking cameras are adjusted to focus on an object, and the tracking object is tracked and the coordinates and distance of the object are calculated from the captured image.
  • the driving method is that when a target object is detected by the first camera, another camera automatically starts up in a direction that can capture the location of the target object based on the image information of the first camera. Acquire images by tracking.
  • the device that tracks and captures an object to adjust the camera's focus by acquiring the coordinates and distance of the tracking object, and adjusts the camera's direction according to the movement of the object to obtain an accurate image, and captures and tracks a tracking object at various magnifications Facilitate the analysis of objects.
  • a program that tracks the movement path of the target object through a computer, stores a corresponding image, and analyzes the program.
  • an image of a tracking object is captured by a reference camera having a relatively low magnification
  • an image of a reference camera is processed by a computer to control the position signal of each camera so that other cameras can capture the same object. Will be sent.
  • the control signal is adjusted to the camera by comparing the image processed data between the reference camera and other cameras so as to obtain an image of the object more accurately.
  • the present invention is composed of a camera equipped with a lens of different magnification, a mechanical control device for controlling the same, and a computer for image processing and analysis.
  • a plurality of cameras may acquire images of various wavelengths simultaneously by mounting an image sensor and a lens suitable for a wavelength band of a user desired area.
  • a difference imaging method using an optimal threshold value obtained through experiments is used as an algorithm for detecting motion in successive images read from a camera. Due to the small amount of calculation, the difference image method is suitable for processing image data from a camera that inputs 30 frames per second in real time, and the disadvantage of the color value of the background image that changes with time is that the optimal threshold value obtained through the experiment is used. Supplemented.
  • the model shape of the moving object may change and tracking of the movement should be possible even if the model is obscured by structures or the like on the camera area. Therefore, in the present invention, an object using the difference between the image of the previous frame and the current frame by using the difference image method applying the optimal threshold value obtained through the experiment as a method for detecting the motion in the continuous images read from the camera. It is designed to detect the movement of. In order to obtain the motion vector of the object, when detected by the moving object detection algorithm, the pixel information of one of five pixels among the pixels whose difference with the previous frame is larger than the threshold value is obtained and the blind area of the moving object is used by using this information.
  • an object movement monitoring system using a multi-camera and an object tracking algorithm in a wide area is a preprocessing process for removing lighting and noise of a frame obtained by recognizing a tracking object in a camera.
  • Multi-camera control to define the relationship between the cameras (FOV), form a network between the server and the cameras, and transfer the processed results from each camera to track objects from multiple cameras.
  • a tracking system includes a mobile communication system for delivering the results tracked in the tracking system to the mobile single user of the user.
  • a method for monitoring object movement in a wide area using multiple cameras and object tracking algorithms includes a Y signal among RGB images input through a frame grabber board. Detecting and storing only the first step; A second step of determining whether there is a moving object by obtaining a difference image by using a corresponding pixel difference between the current image and the previous image when the input of one frame is completed by the first step; A third step of separating the moving object by removing noise through the projection vector when the moving object is present in the second step; A fourth step of inspecting a moving direction by comparing the moving object separation coordinates for all images and setting a reference block to an object moving on the current image according to the moving direction when separation is completed according to the third step; And a fifth step of detecting an edge of the current image and the previous image and block matching to track the moving object for accurate block matching with respect to the reference block set in the fourth step.
  • the present invention obtains the image of the target object at different magnifications in the situation for analyzing the object at a long distance, so that the aerospace-related field and military technology can be improved nationally and unmanned automation can be used for 24 hours monitoring or tracking. It is suitable for the harsh environment, and additional power supply and communication equipment can be added to remotely analyze or control the acquired image even in the mountains.
  • a plurality of tracking cameras can be driven to track and photograph the objects to determine the position of the object, and to adjust the focus to obtain an accurate image. This allows for multi-faceted analysis of the tracking object, taking into account the surrounding environment.
  • information of an object tracked by one camera is transmitted to another camera by using information transmission method between a plurality of surveillance cameras and a server, and information that is not information sharing method between cameras used in the existing multiple cameras.
  • information transmission method between a plurality of surveillance cameras and a server
  • information that is not information sharing method between cameras used in the existing multiple cameras can be transmitted without a promised correspondence between cameras, and a recognized object can be continuously tracked over multiple cameras.
  • WIPI mobile communication can be used to deliver the tracking results to the user's mobile terminal, which can be extended to a new monitoring system beyond the desktop-oriented monitoring and can provide convenience to the user.
  • 1 is a system configuration of the present invention including an object tracking camera
  • FIG. 2 is a block diagram showing the overall configuration of the system of the present invention
  • FIG. 3 is a structural diagram of information transfer between client cameras and a server of the present invention.
  • FIG. 4 is a flowchart of an algorithm for detecting the appearance of a moving object of the present invention.
  • FIG. 5 is a flowchart illustrating a process of updating a motion vector of an object of the present invention.
  • FIG. 6 is a block diagram of a moving object tracking system of the present invention.
  • FIG. 7 is a block diagram of a distance detection system of the present invention.
  • FIG. 1 shows a system configuration of the present invention including an object tracking camera.
  • the invention comprises a camera 1, a stream server 2 and a remote viewer program 3 connected to a mobile communication system.
  • the camera 1 for tracking an object receives an image and detects the movement of the object, and detects the movement of the camera up, down, left, right and zoom, and a remote viewer program for viewing and controlling the contents of a screen transmitted remotely. It is possible to track and remotely control a moving object to detect the movement of the object, and automatically move the camera up, down, left and right to zoom and monitor and control from a remote location.
  • the left / right (PAN) / up / down (TILT) / zoom function includes a motor control circuit unit, a microcomputer, and a power supply and communication unit for controlling the camera module and the PAN / TILT.
  • the motion detection and stream server board 20 is composed of a decoder part for converting the screen into a digital part, an ASIC chip for detecting motion, a TCP controller, a microcomputer and a communication part, and receives a signal from a camera to digitally detect motion. It plays the role of sending the direction of movement of the camera 1 as a command through the detected signal and the role of the stream server 2 compressing the video signal and sending it on the Internet using the TCP / IP protocol.
  • the remote viewer window program (3) is a computer-based program that allows you to move the camera up, down, left, and right manually from a remote location, and automatically sets the auto tracking setting so that the camera automatically follows the moving object. It is divided into the function to control up, down, left, right and zoom.
  • the camera 1 is a camera module with a built-in zoom function, a pan motor, a stem motor drive circuit part for moving a tilt, a circuit part for position control and a micro stem, and an entire camera, as is known. It consists of a microcomputer circuit which is in charge of the communication and control of the equipment (not shown).
  • a protocol for controlling the camera module may be controlled using a protocol provided with the camera module, and a TCP / IP protocol for transmitting a video stream server over the Internet is already standardized. Use it.
  • Such a camera (1) basically not only implements the functions of a fixed general camera, but also forms a function of a PTZ camera, and continuously tracks an object to be monitored without the need for an operator to maximize the efficiency of the monitoring.
  • the video stream server 2 is added so that it can be viewed on the Internet.
  • the system includes a tracking system 100 for tracking an object using a plurality of cameras 1; And a mobile communication system 200 for transmitting the tracked result to the user's mobile terminal 300.
  • the tracking system 100 performs a preprocessing process such as lighting correction to remove the lighting and noise of a frame obtained by recognizing the tracking object in the camera 12, defines a relationship between the cameras (FOV), and the server 2.
  • a network between the camera and the camera 1 is formed, and the result of processing by using the information transfer is transferred from each camera to perform a multi-camera process of tracking an object from multiple cameras.
  • the mobile communication system 200 transmits the result tracked by the tracking system 100 to the user's mobile terminal.
  • voice data transmission is not considered for faster media stream processing between the server and the client, and an image transmission function is used to track an object by obtaining image data from a connected camera.
  • synchronization In order to sequentially acquire and process image data in a network system, synchronization must be performed among a plurality of cameras first, so that camera numbers are assigned in the order of cameras connected to the server. Then, to create an RTP session for media stream transmission, clients pass the media stream information from the connected camera to the server along with the camera address, port number IP, and device information. The server checks whether the information passed is justified, and if it is not, the server blocks the client's access.
  • 3 shows a structure of information transmission between client cameras and a server.
  • the server when the server is running, the server creates a server socket and waits for a client connection.
  • Each client sends a connection request to the connected server to connect to the server.
  • the server In order to always check and control the status of each client, the server generates a thread for each connected client to synchronize the data stream.
  • TRIDs are stored in the TRID list and used to exchange information with connected clients.
  • the TRID list registers the list of connected clients received from each TRID in the client list.
  • the server distributes the sockets and streams of each client by creating connection objects in the order in which the clients connect by controlling the overhead incurred when many clients are connected at once.
  • the clients begin processing the image to track the object.
  • the server detects the client's change status, stops the trigger, and removes the connection object.
  • Clients focus on the server through each connection object, and the created connections store the information of connected clients in the connection list. That is, each client transmits a message to be sent to a server using a connection object, and the server can confirm the request of the client through a protocol.
  • the object tracked by the camera is updated every frame and the updated information is continuously transmitted to the server through the connection object.
  • connection object sends a message from the client to the server
  • server sends the message and protocol received from the connection object to the server's tree, and the server sends data to all clients stored in the tree list.
  • Tried passes a message from the server to the connection object, which in turn passes the message to the client.
  • the server and clients can use the connected trid and connection objects to send messages with the message protocol or to see which client receives the message.
  • the priority of the camera is set to the highest and then the motion vector of the moving object in the camera area is calculated.
  • the moving object moves out of the current camera area, it operates in the same manner by operating the camera that is in charge of the area.
  • a moving object tracking algorithm for extracting motion vectors from successive moving images is determined by a camera model.
  • the camera model for video acquisition can be divided into three models: the camera and the background are both fixed, the background is fixed and the camera is moving, and the camera and the background are both moving.
  • the present invention proposes a method of separating a moving object region and a background region in a model in which both the camera and the background are moving.
  • a difference image adding method for detecting the presence of a moving object by calculating a difference value between an input image and a background image is generally used.
  • the method using optical flow is common, but the calculation is complicated.
  • a method using the optimal threshold value obtained through the experiment is adopted as a method for solving this problem.
  • A source image
  • B current image
  • ⁇ threshold
  • the position tracking algorithm used in the present invention uses an algorithm that extracts the contour of the region in which the motion in the previous frame and the current frame is detected, and compares the vertical, horizontal, and horizontal values of the contour to extract the moving path of the object.
  • the moving path of the object is recognized by comparing the position in the camera area of the moving object with the position of the previous frame.
  • the maximum number of operations that the CPU needs to calculate in order to recognize the direction of the moving object by the positioning algorithm can be significantly reduced by comparing the same size bitmap file using the global calculation algorithm. If you need to extract it has the advantage of having the maximum operation speed.
  • the bitmap image is stored in pixel units of width and height, and the position information (x-axis, y-axis value, and color (RGB) value of the bitmap) of each pixel are stored in the present invention. If the value is recognized between the previous frame and the current frame, but the image of the new object is not changed due to the light intensity or the influence of the environment, the frames appearing in the hard disk space as files and movies in the bitmap image format. Stored.
  • the object tracking path tracking algorithm is difficult to apply to the system because it increases the amount of CPU calculation when calculating the input images of the camera that changes in real time using the methods of the tracking algorithms of the existing objects that have a large amount of calculation. have.
  • the algorithm which detects the moving object in the least amount of calculation is made and the algorithm which can be applied at the same time is devised.
  • the pixel position information of the pixel whose pixel value with the previous frame is greater than or equal to the threshold value is stored in the buffer.
  • the smallest and largest values of the x-axis are compared and the smallest and largest values of the Y-axis are stored as variables.
  • the area on the screen of the moving object and the moving path are extracted by comparing the up, down, left, and right values stored in the previous frame.
  • FIG. 4 is a flowchart illustrating an algorithm for detecting the appearance of a moving object.
  • the motion vector calculation of the moving object when the appearance of the moving object is detected, an operation of storing the image read from the camera of the detected area as a file on the hard disk is performed. In addition, when the appearance of the moving object is detected, the detected movement vector of the animal is calculated and the camera of the area is operated when the object moves out of the area of the current camera using the moving path of the object.
  • the rectangular area of the moving object is calculated as shown in FIG. 5, the position of the moving object is compared with the rectangular area of the previous frame, and the motion vector of the object is calculated.
  • the process of updating calculates the position of the object.
  • the motion vector of the moving object is calculated simultaneously with the detection of the moving object, which calculates the motion vector of the object separately from the calculation to detect the change of the screen and the calculation to calculate the motion vector of the moving object. This is to compensate for the drawbacks of the existing method.
  • the contour of the object is calculated as a rectangular area to calculate the movement vector of the moving object.
  • the calculation method uses the XY coordinates of pixels whose difference between the previous frame and the color value is larger than the threshold. To obtain; The previous method is taken five times and compared with the previously obtained X Y coordinate to find the smallest and largest values of the x-axis, and the smallest and largest values of the y-axis; The rectangular area is set using the obtained coordinate values of X Y.
  • the screen change is detected using a difference algorithm with the previous image, and a moving object tracking algorithm is used to find an area of the object.
  • the position information value of the array variable that grasps the size and position of the current moving object may be determined by the X Y coordinate where the rectangular region starts and the X Y coordinate where the rectangular region ends.
  • the rectangular area of the moving object is reconstructed. That is, it is possible to track the position of the object even if the appearance characteristic of the moving object changes due to the movement of the moving object or the movement of the moving object.
  • the area of the moving object detected using the input source image is stored for each frame, the area of the moving object in the input source image is displayed like a rectangular area even when a part of the object is changed and the part of the object is covered by an obstacle. Therefore, by using the starting point and the end point of the rectangular area of the object, the motion vector such as the moving direction of the object in the previous frame and the current frame, the change of the size of the object, and the deformation of the object can be calculated.
  • the present invention proposes an algorithm that can reduce the amount of computation to a minimum and detect a moving direction of a moving object with a small error.
  • the moving object tracking algorithm used in the present invention is as follows.
  • the existing methods that use the edge detection method to detect the area of the object need to retrieve the color values of all the pixels of the source image twice. It is enough to search just once.
  • the present invention is a new image segmentation method for tracking a moving object, which does not require a process of obtaining a specific vector of a tracking object, unlike conventional systems, and uses a motion image that tracks a rectangular region of an object whose motion is recognized.
  • the moving object tracking system receives an RGB image through a frame grabber board, and detects and stores only a Y signal among the RGB images.
  • the difference image is obtained by using the corresponding pixel difference between the current image and the previous image, and the presence of the moving object is examined. Remove noise and isolate moving objects.
  • the moving direction is checked by comparing the moving object separation coordinates for the entire image, and a reference block is set on the moving object in the current image according to the moving direction. For accurate block matching, edges are detected on the current image and all images, and the block is matched to track moving objects.
  • the block matching method is a method of estimating whether the changed block is the best match with the block in which the motion occurs or the previous frame, but the block matching method matches the part where the motion occurs. Because of comparing the intervals to find out whether the object is moving quickly, if there is movement over a wide range, a serious problem occurs.
  • each moving object is separated and the moving object is tracked through block matching between the separated objects.
  • FIG. 1 A block diagram of the distance detection system is shown in FIG.
  • analog signals of the plurality of CCD cameras 1 are converted into digital signals in YCbCr4: 2: 2 format through the image decoder 400, and only Y signals are detected.
  • the detected Y signal image is stored in each dual-port SRAM 402 using the dual-port SRAM controller 401.
  • a completion signal is transmitted through the Dual-Port SRAM controller 4012, and the shift register unit 403 transmits data of each Dual-Port SRAM 402 to the shift register 403 together with the completion signal. Save it.
  • stereo matching is performed by receiving one pixel from the next time.
  • Depth Map which is distance information that comes out during stereo matching, is stored in SRAM, and when the matching for one frame is completed, a Depth Map 404 is created in SRAM. Depth value can detect the distance using the camera focal length value by the experimental value.
  • IRQ signal is sent, and Depth Map data of SRAM is read from SDRAM and output to TFT-LCD picture using DMA Control block and LCD Driver block.
  • the commercialization method of the present invention can be proposed in the aerospace field, military facilities related to supplementation, and the like.
  • Specific targets include domestic and international airport facility-related companies, space research-related institutions, and organizations managing military and security-critical facilities.
  • Applicable products can provide information for communication and decision-making between the control station and the pilot of the aircraft and the flight status tracking of the aircraft's take-off and flying aircraft. It can effectively track and shoot the aircraft's gas tracking and near-earth objects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법과 시스템에 관한 것이다. 본 발명은 여러대의 카메라에서 물체를 추적하는 다중 카메라 제어를 수행하는 추적 시스템과; 상기 추적 시스템에서 추적된 결과를 사용자의 모바일 단발기로 전달하는 모바일 통신 시스템으로 구성되어 카메라로부터 입력되는 RGB 영상 중에서 Y신호만을 검출하여 저장하고, 현재 영상과 전 영상의 대응되는 픽셀 차를 이용하여 차 영상을 구하여 이동 물체가 있는지를 검사하고, 이동 물체가 있을 경우 차 영상을 투영 벡터를 통해 노이즈를 제거하여 이동하는 물체를 분리한 다음, 전 영상에 대한 이동 물체 분리 좌표와 비교하여 이동 방향을 검사하여 현 영상에 움직이는 물체에 기준 블록을 설정하여 현 영상과 전 영상에 에지를 검출한 다음 블록 정합하여 이동 물체를 추적하는 것이다.

Description

다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
본 발명은 목표 물체의 움직임을 포착하여 움직이는 물체의 이동 경로를 예상하여 다수의 각기 다른 배율의 렌즈를 장착한 카메라를 통해 목표 물체의 영상을 여러 크기별로 획득하여 목표 물체의 분석 및 식별을 보다 쉽게할 수 있는 감시 시스템에 관한 것이다.
보다 구체적으로는 목표 물체를 추적하기 위한 기준 카메라의 정보를 입수한 다수의 배율이 다른 카메라들은 기준 카메라에서 수신된 정보를 통해 촬영해야할 목표물체의 좌표를 추정하게 되고, 추정된 거리에 맞도록 초점을 조정하여 같은 물체를 여러개의 카메라가 동시에 다른 배율의 영상을 취득할 수 있게 되며, 각 카메라의 영상 정보를 토대로 추적 물체의 크기와 이동 속도 등의 정보를 획득하고, 획득된 정보를 통해 이동하는 물체의 이동 경로에 맞도록 카메라의 방향을 조정하여 물체를 정확하고 다양한 배율로 추적하여 영상 데이터를 저장하고, 사용자에게 통신할 수 있는 다중 카메라와 물체추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템에 관한 것이다.
현대사회에서는 국가적, 사회적 안전뿐만 아니라 개인과 재산에 대한 안전과 보호의 관심이 높아짐에 따라 주요 시설물과 관공서, 학교, 기업, 가정에 이르기까지 보안의 중요성과 적용 범위가 확대되고 있다. 특히 설치된 카메라를 이용하여 감시 대상을 자동적으로 인식하고 추적할 수 있는 감시 시스템의 요구가 높아짐에 따라 감시 시스템 개발의 중요성이 더욱 커지고 있다. 감시 시스템의 종류로는 CCTV 카메라나, PC 카메라를 이용한 영상감시시스템, 네트워크 카메라를 이용해 컴퓨터로 영상을 실시간으로 신속하게 전송하여 핸드폰, PDA, PC 등에서 손쉽게 감시할 수 있는 네트워크 감시시스템, 야간 감시에 적합한 적외선 감시시스템, 물체의 온도를 감지하는 열감지 시스템 등이 있다. 이러한 감시 시스템 중에서 CCTV나 PC 카메라 등을 이용한 영상 감시시스템은 영상을 통해 능동적으로 감시 대상을 구분하고 추적할 수 있어서 침입이나 위법행위를 사전에 찾아 낼 수 있고, 녹화가 가능하여 중요한 정보를 제공받고 저장할 수 있기 때문에 다른 감시수단 보다 효과적인 수단으로 각광받고 있다.
따라서 특정 감시요원 없이 자동적으로 침입자를 식별하고 감시카메라에서 추적된 침입자를 여러 대의 감시 카메라 상에서도 지속적으로 추적할 뿐 아니라, 언제 어디서나 사용자에게 보안 영역에 대한 감시 결과를 전달하여 사용자에게 편의와 신뢰를 제공할 수 있는 새로운 감시시스템의 개발이 절실하게 필요하다.
연속적으로 입력되는 영상에서 구해지는 이동 물체에 대한 특정을 이용하여 이동하는 물체의 움직임 부분을 영역화 할 수 있고, 물체의 연속 움직임 분석 등을 수행할 수 있으며, 순차적으로 처리되는 영상에서 움직이지 않는 배경부분을 동일한 데이터 영역으로 처리하여 동영상 전송분야의 데이터 압축을 도입할 수 있다.
이동하는 물체의 움직임 부분의 영역화하면 영상에서 원하는 이동 물체만을 영역화하여 처리할 데이터의 양을 줄이고, 원하는 부분을 추출할 수 있다. 영역화가 수행된 후 이를 기반으로 대상 물체의 움직임을 추적하는 방법으로 인접한 두 프레임의 차를 이용하는 차 영상 방법(image subtraction), 이전 프레임에서 특정(feature)을 뽑아 다음 프레임과 정합시키는 정합(matching) 방법, 각 화소에 대한 속도 벡터를 나타내는 광류(optical flow)를 이용한 영역화 방법 등이 있다.
카메라 수에 따른 분류방법은 단일 카메라와 다수의 카메라로 나누어질 수 있다. 한대의 카메라를 이용한 방법은 카메라가 획득할 수 있는 시각적 범위가 한정되어 있기 때문에 광범위한 지역에서 물체의 움직임이나 행동패턴을 추적하기가 쉽지 않다. 이러한 문제점은 2대 이상의 카메라를 이용하여 카메라의 한정된 시야를 넓힘으로써 해결될 수 있다. 다수의 카메라를 이용하는 방법은 카메라들의 시각적 범위 (FOV : Field Of View)가 겹치느냐, 겹치지 않느냐에 따라 겹침(overlapping)배치와 비겹침(non-overlapping)배치로 나누어진다. 겹침 배치는 2대 이상의 카메라가 일정 범위의 시야를 공유하는 방법이고, 비겹침 배치는 각 카메라의 화면의 겹침이 없이 카메라를 넓은 지역에 배치하는 방법이다. 겹침 배치는 다양한 각도에서 추적 대상의 움직임과 동작을 세세하게 추적할 수 있어서 추적 대상의 3차원 모션이나 3차원 아바타를 만드는데 주로 사용된다. 반면 비겹침 배치는 넓은 시야의 확보가 용이하므로 넓은 지역에 걸쳐 장시간 동안 물체의 움직임의 방향 경로나 움직임의 패턴을 추적할 수 있어 넓은 지역을 감시하는 감시시스템 분야에서 많이 사용된다.
본 발명은 다수의 고정된 CCD카메라로부터 소스영상을 입력받아 이동 물체를 감지하고 추적하는 방법을 제공한다. 하나의 카메라의 감시 영역에서 이동 물체가 감지되면 시스템은 물체의 이동방향을 알아낸다. 그리고 이동 물체가 현재 카메라의 감시 영역에서 빠져나가는 동시에 현재 물체가 이동 중인 방향에 위치하고 있는 카메라를 동작시킴으로써 이동 물체가 포함된 영역만의 영상을 저장할 수 있는 시스템이 구현된다. 구현된 시스템은 하드디스크의 공간을 최대로 절약할 수 있으며, 계산량이 적기 때문에 더 큰 영역의 이동 물체를 실시간으로 감지하고 감시할 수 있다.
입력영상정보에서의 움직임 추출은 움직임이 있는 부분의 영역화로 표현할 수 있다. 입력영상정보란 카메라로부터 3차원 실세계 영상을 2차원의 평면으로 수집한 정보데이터 이며, 영역화란 영상정보로부터 특성이 같은 부분들로 구분하는 과정이다.
이동 물체를 감지하는 알고리즘은 영역 기반 방법, 특징 기반 방법이 있다.
영역 기반 방법은 한 영상에서 특성을 포함한 일정 영역의 영상 조각을 가지고 다른 영상과 상관 관계를 이용하여 찾는 방법으로 차 영상 방법과, 블록 정합 방법이 있다.
차 영상 방법은 인접한 두 프레임의 차를 이용하여 영상 내에서 차이가 생기는 부분을 움직임 영역으로 간주하는 방법이다. 초기에 나온 움직임 추적 알고리즘으로서 구현하기 쉬운 반면 프레임과 프레임 사이에서 이동 물체가 겹쳤을 때 영역화 된 이동 물체의 모양이 달라지거나 카메라가 흔들렸을 경우 이웃하는 프레임들 사이에 대응하는 좌표에 대한 화소값이 판이하게 달라지므로 영역화의 성능이 많이 떨어진다. 화소값에 따라 특정한 임계치를 기준으로 이진레벨(Binary Level), 또는 그레이 레벨(Gray Leve l)로 양자화하는 방법이 있다.
블록 정합 방법은 하나의 영상에서 특정을 포함한 일정 영역의 부분 영상을 가지고 인접한 다른 영상과의 상관 관계를 이용하여 찾는 방법이며, 그 상관관계는 화소 기준의 평균제곱 차이값, 절대값 차이의 합, 또는 유사도 값을 가지고 비교하는 방법이며 두 영상의 화소의 밝기값이 직접 정합에 사용되므로 정합에 사용되는 화소들의 특정의 변화에 아주 민감하다.
이는 영상의 기하학적 왜곡이나 열룩, 노이즈 등에 상당히 취약하며 특히 크기 변화나 회전이 존재하는 영상에서는 적용하기 어려운 점이 있다.
블록정합의 대표적인 FBMA(Full Search Block Matching Algorithm)방식은 검색할 블록에 대해 한 픽셀 단위로 블록 전체에 대한 움직임을 검색하는 방식으로, 다른 블록 정합 방법들에 비해서 한 픽셀 간격으로 움직임을 추정하기 때문에 가장 최적의 블록을 찾아낼 수 있지만, 영상의 특성에 상관없이 움직임 추정에 동일한 탐색 영역을 설정함으로써 많은 계산적인 낭비를 초래한다는 단점이 있다. 그 외에 TSS(Three Step Search) 알고리즘이나 CSA(Cross Search Algorithm)등은 계산량을 줄여 빠르게 블록 정합을 수행하게 하지만 예측 오차가 커진다는 단점이 있다.
특징 기반 방법은 광류에 의한 방법, 직선을 이용한 방법, 구석점을 이용한 방법이 있다.
광류에 의한 방법은 영상에서의 밝기 부분의 변화와 연관된 2차원 속도계(2D velocity field)이다. 실제로 3차원 공간상에서 물체의 움직임 추정을 할 경우에 모션필드(motion field)를 구하기가 상당히 힘들기 때문에 2차원 영상평면 (2D image plane) 에서의 광류를 구하여 근사적으로 3차원 모션필드 (3D motionfield)를 구한다.
일반적으로 카메라로 얻는 영상에서는 각 화소를 이루는 광도만을 측정할 수 있는데, 광류를 구하는데 광도를 어떻게 이용하느냐에 따라 미분법을 이용한 방법, 상관 관계를 이용한 방법, 에너지를 이용하는 방법 등으로 분류한다.
직선을 이용한 방법은 점을 이용한 정합보다 여러가지 이점을 가지고 있는데, 점보다는 하나의 영상에서 직선의 수가 적고, 선 자체가 뚜렷한 특정을 가지고 있으므로 잠재적인 정합의 경우의 수를 줄일 수 있다. 실제로 직선들은 거주지역의 항공사진이나, 건물의 실내 등 연간이 조형한 환경의 영상 등에서 빈번하게 생긴다.
구석점을 이용한 방법은 특정 플로우 기반 정보로서 이동 물체의 형태를 특정짓는 구석점을 사용한다. 이동 물체의 형태를 특정짓는 요소로서의 구석점을 추출하고, 특정점 주변의 영역 특석을 고려하여 시간에 따른 특정점의 이동 벡터로 구성된 특정 플로우를 구한 후 특정점의 위치, 특정 벡터의 이동각 및 이동량을 매개 변수로 하여 이들을 특정 공간상에서 군집화 함으로써 이동 물체를 추적하는 방법이다.
이동 물체 추적 알고리즘은 모델 기반 추적 방법, 영역 기반 추적 방법, 능동 윤곽선 기반 추적 방법, 특정 기반 추적 방법이 있다.
모델 기반 추적 방법은 임의의 특정 모델을 연산하여 그 모델과 같은 형태의 물체를 영상에서 감지하여 모델의 움직임 경로를 추적하는 알고리즘으로 정확한 가하학적 모델을 지정해 주어야 한다는 제약 때문에 소수의 추적 모델에 한정된다는 단점이 있다.
영역 기반 추적 방법은 이동 물체의 외곽선 영역을 지정하여 지정된 영역을 가반으로 물체의 움직임을 추적하는 알고리즘으로 연속영상에서 특정 영역을 구하고, 영역의 상관도를 측정하여 이동 물체를 추적하는 방법으로 그 계산량이 너무 많아서 연산 속도가 저하되는 요인이 된다.
능동 윤곽선 기반 추적 방법은 물체의 경계를 윤곽선으로 표현하고, 그것을 갱신하면서 추적하는 방법으로 영역 기반에 비해 복잡한 계산이 줄어들지만 추적 물체가 부분적으로 가려질 경우 이동 물체를 추적하기 어렵다는 단점이 있다.
특정 기반 추적 방법은 물체의 전체를 추적하지 않고 이동 물체의 특정을 추출한 다음 추적하는 가법으로 부분적인 가려점이 발생해도 추적이 가능하지만, 이 알고리즘 또한 특정으로 추출된 화소 부분이 부분적으로 다른 물건들에 의해 가려지게 되면 추적이 불가능하다는 단점을 가지고 있다.
통상적으로 기존의 이동 물체 추적 알고리즘 들은 다음과 같은 과정을 거쳐서 소스 영상에서부터 이동 물체를 검출하는 과정은 이전 프레임의 영상에서 외곽선 검출가법을 사용하여 원영상의 물체들을 분류하는 단계와; 이전 프레임에서 외곽선 검출가법을 이용하여 얻어진 영상과 현재 프레임의 영상에서 외곽선 검출방법을 이용하여 얻어진 영상의 마스크(mask)를 차 연산하는 단계와; 차 연산의 결과에 따라 영상의 외곽선 부분이 다르게 변화된 물체의 특정을 분석하여 물체의 마스크를 생성하는 단계와; 새롭게 입력되는 영상들을 외곽선 검출방법을 이용하여 외곽선을 검출하는 단계와; 상기한 과정에서 얻어진 마스크와 동일한 물체를 현재 영상에서 찾아 물체의 이동경로를 검출하는 단계를 포함하여 이루어진다.
이와 같은 기존의 알고리즘에 의한 방법은 특정 부분을 포함한 영역의 화소값에 대한 상관 관계를 추적하거나 각 화소값이 갖는 특징 값을 추출해야 하고, 프레임간 일정 영역에 대한 모든 화소값을 비교 계산하거나 화소의 특성 비교에 떠른 계산량이 증가하고, 하나의 영상에 대해서 2회 이상의 전체 화소 스캔이 필요하며, 장애물에 의하여 이동물체의 일부분이 가려진 경우에는 별도의 알고리즘이 필요하게 된다.
따라서 곽선 검출 방법을 사용하는 기존의 방법들은 이전 프레임들의 소스영상들로부터 픽셀들의 색상 값을 모두 검색하여 외곽선을 검출하는 복잡한 과정을 거치면서 이동 물체의 이동 방향을 검출하는 방식으로써, 이동 물체의 이동 방향을 파악하기 위한 목적으로 사용할 경우 계산량이 많기 때문에 처리속도가 느려지는 이유로 단위시간 내에 많은 영상 프레임을 저장할 수 없다는 치명적인 단점이 있다.
항공 우주 및 군사적인 목적에 있어 기존의 카메라를 이용한 영상촬영 장치는 1개의 카메라를 수동 또는 반자동의 형태로 원하는 피사체의 영상을 획득하는 방식이다. 그러나 이러한 방식은 추적 물체에 대한 한 가지 배율로만 촬영을 할 수 있으며 그로 인하여 촬영된 물체에 대한 분석을 할 때에는 영상 자료 부족으로 인해 애로사항이 발생하게 된다.
본 발명은 추적하여 촬영하는 목표 물체에 대하여 다양한 배율의 영상을 취득하여 추적 물체의 분석을 원활 하게 할 수 있도록 하는 것이다.
이를 위하여 목표 물체를 추적하기 위한 기준 카메라의 정보를 입수한 다수의 배율이 다른 카메라들은 기준카메라에서 수신된 정보를 통해 촬영해야할 목표 물체의 좌표를 추정하게 되고, 추정된 거리에 맞도록 초점을 조정하여 같은 물체를 여러개의 카메라가 동시에 다른 배율의 영상을 취득할 수 있게 되며, 각 카메라의 영상 정보를 토대로 추적 물체의 크기와 이동 속도 등의 정보를 추정 할 수 있으며, 이러한 정보를 통해 이동하는 물체의 경우 이동 경로에 맞도록 카메라의 방향을 조정하여 물체를 정확하고 다양한 배율로 추적하여 영상을 획득하고 저장 할 수 있게 된다.
이로써 다수의 카메라 사이의 거리와 목표 물체의 영상의 위치를 통해서 물체의 크기 이동 경로 및 속도 등과 같은 정보를 유추할 수 있게 된다.
본 발명은 추적된 침입자의 특징 정보를 모델링하여 연결된 다른 카메라에 전달하고, 카메라간의 정보 전달을 통해 여러대의 카메라에 걸쳐서 추적 대상의 정보와 움직임을 지속적으로 추적할 수 있는 방법과 추적된 침입 결과를 사용자의 모바일 단말기에 전달하여 사용자가 현재의 위험 상황을 확인할 수 있는 서비스를 제공한다.
이러한 본 발명은 각각 다른 배율의 렌즈를 장착한 카메라의 촬영 각도 및 이동을 물리적으로 가능하게 하는 장치가 고정대에 함께 설치되어 있으며, 이것을 컴퓨터로부터 제어신호를 받은 카메라 제어장치에 의해 카메라의 촬영 조건에 제어되어 진다. 예를 들면 1번 카메라는 모든 카메라 중에서 화각이 가장 작아서 전체적인 관찰이 가능한 카메라로 되고, 연속되는 다른 카메라 들은 각각 1번 카메라와 다른 렌즈 배율로 되는 추적 카메라로 구성된다.
기준 카메라와 서로 배율이 다른 복수의 추적 카메라를 구비하고, 물체에 초점을 맞추도록 추적 카메라 들의 촬영 각도 및 이동을 조정하여 물체를 추적 촬영하고, 촬영 영상으로부터 물체의 좌표 및 거리를 연산한다.
한편, 추적 카메라들을 서로 다른 파장대의 영상을 얻는 카메라로 구성하는 기술도 포함된다.
구동방법은 1번 카메라에 목표 물체가 감지되면 다른 카메라가 1번 카메라의 영상정보를 토대로 자동으로 해당 목표 물체의 위치를 포착할 수 있는 방향으로 기동하게 되며, 각 배율별 카메라가 자동으로 물체를 추적하며 영상을 취득한다.
물체를 추적하여 촬영하는 장치에서 추적 물체의 좌표 및 거리를 획득하여 카메라의 초점을 조정하고, 물체의 이동에 따라 카메라의 방향을 조정하여 정확한 영상을 획득하고, 추적 물체를 다양한 배율로 촬영하여 추적 물체의 분석을 원활하게 한다.
그리고, 컴퓨터를 통해 목표 물체의 이동 경로를 추적하며, 해당 영상을 저장하고, 분석하는 프로그램이 함께 구성된다.
본 발명은 배율이 비교적 낮은 기준카메라에 추적 물체의 영상이 잡히게 되면 획득한 기준 카메라의 영상을 컴퓨터로 영상처리를 거쳐 물체의 위치 정보를 다른 카메라가 같은 물체를 포착할 수 있도록 각 카메라에 제어신호를 전송하게 된다.
전송된 카메라의 동작으로 물체 영상을 획득하게 되면 기준카메라와 다른 카메라들과의 영상 처리된 자료를 비교하여 카메라에 제어신호를 조정하여 보다 정확하게 물체의 영상을 획득할 수 있도록 보정제어하게 된다. 즉 본 발명은 각각 다른 배율의 렌즈를 장착한 카메라와 이를 제어하는 기구적 제어 장치와 영상처리와 분석을 위한 컴퓨터로 구성된다. 이때 다수의 카메라는 사용자가 원하는 영역의 파장대에 맞는 이미지 센서와 렌즈를 장착하여 다양한 파장의 영상을 동시에 획득 할 수 있다.
본 발명에서는 카메라로부터 읽어들여지는 연속적인 영상들에서 움직임을 감지하는 알고리즘으로 실험을 통하여 구해진 최적의 임계값을 적용한 차 영상 방법을 이용하였다. 차 영상 방법은 계산량이 적어서 초당 30프레임이 입력되는 카메라로부터의 영상데이터를 실시간으로 처리하기에 적당하며, 시간에 따라서 변하는 배경영상의 색상값에 대한 단점은 실험을 통하여 얻어진 최적의 임계값을 이용하여 보완하였다.
움직이는 물체의 모델 형태가 변화할 수 있고, 또한 모델이 카메라 영역상에 있는 구조물 등에 의해서 가려지는 경우에도 움직임의 추적이 가능해야 한다. 따라서 본 발명에서는 카메라로부터 읽어 들여지는 연속적인 영상들에서 움직임을 감지하기 위한 방법으로 실험을 통하여 얻어진 최적의 임계값을 적용한 차 영상 방법을 사용하여 이전 프레임과 현재 프레임의 영상의 차를 이용하여 물체의 이동을 감지하도록 설계하였다. 물체의 이동 벡터를 구하는 방법으로는 이동 물체 감지 알고리즘에서 감지된 경우 이전 프레임과의 차 영상이 임계치보다 큰 픽셀들을 중 다섯 개 중에서 하나의 픽셀 정보를 구하여 이 정보를 이용하여 이동 중인 물체의 사각영역을 구하여 영상 내의 사각 영역의 위치를 이용하여 이전 프레임의 사각영역과 비교하여 물체의 이동 벡터를 구하는 식을 취하도록 설계하였다. 이 알고리즘은 앞에서 소개된 알고리즘들에 비해서 물체의 윤곽을 정확하게 포착하여 이동 물체의 정치를 파악할 수는 없으나 계산량이 적어서 빠른 처리가 가능하며, 이동 물체의 일부분이 장애물에 의해서 가려지더라도 물체의 이동 경로 추적이 가능하다는 장점을 가진다.
본 발명이 의도하는 목적을 달성하기 위한 기술적인 특징으로서 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 시스템은 추적 대상을 카메라에서 인식하여 획득된 프레임의 조명과 노이즈를 제거하는 전처리 과정을 수행하고, 카메라 간의 관계를 정의(FOV)하며, 서버와 카메라간의 네트워크를 형성시키고, 정보 전달을 이용하여 처리된 결과를 각 카메라에서 넘겨받아 여러대의 카메라에서 물체를 추적하는 다중 카메라 제어를 수행하는 추적 시스템과; 상기 추적 시스템에서 추적된 결과를 사용자의 모바일 단발기로 전달하는 모바일 통신 시스템을 포함하는 것이다.
본 발명이 의도하는 목적을 달성하기 위한 기술적인 특징으로서 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법은 카메라로부터 입력되는 신호를 프레임 그레버 보드를 통해 입력되는 RGB 영상 중에서 Y신호만을 검출하여 저장하는 제1단계; 제1단계에 의하여 하나의 프레임에 대한 입력이 완료되면 현재 영상과 전 영상의 대응되는 픽셀 차를 이용하여 차영상을 구하여 이동 물체가 있는지를 검사하는 제2단계; 상기 제2단계에 의하여 이동 물체가 있을 경우 차 영상을 투영 벡터를 통해 노이즈를 제거하여 이동하는 물체를 분리하는 제3단계; 상기 제3단계에 따라 분리가 완료되면 전 영상에 대한 이동 물체 분리 좌표와 비교하여 이동 방향을 검사하고 이동 방향에 따라 현 영상에 움직이는 물체에 기준 블록을 설정하는 제4단계; 상기 제4단계에서 설정된 기준 블록에 대한 정확한 블록 정합을 위해 현 영상과 전 영상에 에지를 검출하고 블록 정합하여 이동 물체를 추적하는 제5단계를 포함한다.
이와 같은 본 발명은 원거리에서 물체를 분석하기 위한 상황에 있어 각기 다른 배율로서 목표 물체의 영상을 획득하게 되어 항공우주관련 분야 및 군사적인 기술이 국가적으로 향상되고 무인 자동화가 가능함으로서 24시간 감시 또는 추적해야 하는 열악한 환경에 적합하며, 별도의 전원장치와 통신설비를 추가하여 산간오지에서도 원격으로 취득영상을 분석하거나 제어할 수도 있다.
배율이 비교적 낮은 기준 카메라에 추적 물체가 잡히면 복수의 추적 카메라를 구동시켜 물체를 추적 촬영함으로써 물체의 위치를 파악할 수 있을 뿐만 아니라, 초점을 조절하여 정확한 영상을 얻을 수 있고, 서로 다른 배율의 영상을 얻어서 주위의 환경을 고려하여 추적물체에 대해 다각적으로 분석할 수 있게 한다.
본 발명에 의하면 다수의 감시 카메라와 서버와의 정보 전달 방식을 이용하여 한 카메라에서 추적된 물체의 정보를 다른 카메라에 전달하는 것으로, 기존의 다수의 카메라에서 이용되었던 카메라 간의 정보 공유 방식이 아닌 정보 전달 방식을 사용함으로써 카메라 간의 약속된 대응 관계가 없이도 정보 전달이 가능할 수 있고, 인식된 물체를 여러 카메라에 걸쳐서도 지속적인 추적이 가능하다.
또한 WIPI 모바일 통신을 이용하여 추적 결과를 사용자의 모바일 단말기로 전달하여 데스크탑 중심의 감시에서 벗어나 새로운 감시 시스템으로써의 확장이 가능함을 보여주며, 사용자에게 편의를 제공할 수 있다.
도 1은 물체 추적 카메라를 포함한 본 발명의 시스템 구성도
도 2는 본 발명의 시스템의 전체 구성을 나타낸 블록도
도 3은 본 발명의 클라이언트 카메라 들과 서버 사이에서의 정보 전달 구조도
도 4는 본 발명의 이동 물체 출현을 감지하기 위한 알고리즘을 흐름도
도 5는 본 발명의 물체의 이동 벡터를 갱신하는 프로세스를 나타낸 흐름도
도 6은 본 발명의 이동 물체 추적 시스템의 블록도
도 7은 본 발명의 거리 검출 시스템의 블록도
본 발명의 특징과 장점들은 첨부된 도면에 의하여 설명되는 실시예에 의하여 보다 명확하게 될 것이다.
다음에서 본 발명의 실시예를 설명한다.
도 1은 물체 추적 카메라를 포함한 본 발명의 시스템 구성도를 나타내고 있다.
본 발명은 카메라(1), 스트림 서버(2), 모바일 통신 시스템에 접속되는 리모트 뷰어 프로그램(3)으로 구성된다.
물체를 추적하는 카메라(1)는 영상을 입력받아 물체의 움직임을 검출하고, 카메라의 상하좌우 및 줌을 제어하는 검출부와 원격에서 전송된 화면의 내용을 보고 또한 제어할 수 있는 리모트 뷰어 프로그램(3)을 구비하여 움직이는 물체의 추적 및 원격 제어가 가능하게 되어 물체의 움직임을 감지하고, 자동으로 카메라를 상하 좌우 줌까지 자동으로 이동되어 원격지에서 감시 및 제어가 가능하게 구성된다.
또한 화면 영상의 움직임을 검출하는 모션 기능이 있는 칩을 사용하여 모션이 발생했을 때 카메라의 이동을 어느 정도 어느 각도로 이동해야 할지를 분석해야 하는 부분과, 카메라에게 임의의 위치로 이동하라는 명령을 내릴 경우 정확한 위치로 이동해야 하는데 이에 필요한 제어 프로토콜을 구비한다.
좌우(PAN)/상하(TILT)/줌(ZOOM) 기능은 공지된 바와 같이, 카메라 모듈과 PAN/TILT를 제어하는 모터 제어 회로부, 마이크로컴퓨터 및 전원과 통신부로 이루어진다.
움직임 검출 및 스트림 서버 보드(20)는 화면을 디지털로 변환시켜주는 디코더 부분과 움직임을 검출하는 ASIC 칩과 TCP 컨트롤러 및 마이컴과 통신부로 구성되어 카메라의 신호를 받아서 디지털로 변경하여 모션을 검출하고, 검출된 신호를 통하여 카메라(1)의 이동 방향을 명령어로 보내주는 역할과 비디오 신호를 압축하여 TCP/IP 프로토콜로 인터넷상에 보내주는 스트림 서버(2)의 역할을 담당한다.
리모트 뷰어 윈도우 프로그램(3)은 컴퓨터 기반에서 실행되는 프로그램으로 화면을 보는 기능과 원격지에서 수동으로 카메라를 상하좌우로 이동할 수 있으며, 자동으로 오토 트래킹 설정을 하여 카메라가 자동으로 움직이는 물체를 따라가게 하거나 상하좌우 및 줌을 제어할 수 있는 기능으로 구분되어 있다.
카메라(1)는 공지된 바와 같이 줌(ZooM) 기능이 내장된 카메라 모듈, 팬(PAN), 틸트(TILT)를 움직이기 위한 스템 모터 드라이브 회로부, 위치제어 및 마이크로 스템을 하기 위한 회로부, 전체 카메라의 통신과 제어를 담당하는 마이컴 회로부로 구성된다.(도시되지 아니함)
카메라(1) 제어용 프로토콜로서, 카메라 모듈을 제어하기 위한 프로토콜은 카메라 모듈과 같이 제공되는 프로토콜을 사용하여 제어를 하면 되고, 비디오 스트림 서버를 인터넷상으로 전송하기 위한 TCP/IP 프로토콜은 이미 표준화되어 있는 것을 사용한다.
이러한 카메라(1)는 기본적으로 고정된 일반 카메라의 기능을 구현할 뿐 아니라 PTZ 카메라의 기능을 구형할 뿐만 아니라 감시의 효율을 극대화하기 위하여 감시자의 조작이 필요 없이 감시하고자 하는 물체를 계속해서 추적하는 기능에 감시의 범위 한계를 넓히기 위해 인터넷 상에서도 볼 수 있도록 비디오 스트림 서버(2)를 부가시킨 것이다.
도 2는 시스템의 전체 구성도이다. 본 시스템은 다수의 카메라(1)를 이용하여 물체를 추적하기 위한 추적 시스템(100)과; 추적된 결과를 사용자의 모바일 단말기(300)로 전송하기 위한 모바일 통신 시스템(200)으로 구성된다.
추적 시스템(100)은 추적 대상을 카메라(12)에서 인식하여 획득된 프레임의 조명과 노이즈를 제거하는 조명 보정 등의 전처리 과정을 수행하고, 카메라 간의 관계를 정의(FOV)하고, 서버(2)와 카메라(1)간의 네트워크를 형성시키고, 정보 전달을 이용하여 처리된 결과를 각 카메라에서 넘겨받아 여러대의 카메라에서 물체를 추적하는 다중 카메라 처리를 수행한다.
모바일 통신시스템(200)은 상기 추적 시스템(100)에서 추적된 결과를 사용자의 모바일 단말기로 전달한다.
본 발명에서는 서버와 클라이언트 간의 보다 빠른 미디어 스트림 처리를 위하여 음성 데이터 전송은 고려하지 않으며, 연결된 카메라로부터 영상 데이터를 얻어 물체를 추적하기 위하여 영상 전송 기능을 이용한다.
네트워크 시스템에서 영상 데이터를 순차적으로 획득하고 처리하기 위해서는 먼저 다수의 카메라들 사이에서 동기화가 이루어져야 하므로 서버에 연결된 카메라 순서대로 카메라 번호가 부여된다. 그 후 미디어 스트림 전송을 위한 RTP 세션을 생성하기 위해 클라이언트 들은 연결된 카메라로부터 획득한 미디어 스트림의 정보를 카메라 주소와 포트번호 IP, 디바이스 정보와 함께 서버에 넘겨준다. 서버는 넘겨받은 정보가 정당한지를 확인하며, 만약 정당하지 않은 정보인 경우에는 서버는 클라이언트의 접근을 차단한다.
도 3은 클라이언트 카메라 들과 서버 사이에서의 정보 전달 구조도를 보여주고 있다.
이 도면을 참조되는 바와 같이 서버가 구동이 되면 서버는 서버 소켓을 생성하여 클라이언트의 연결을 기다린다.
각 클라이언트 들은 서버와의 연결을 위해 연결된 서버에 연결 요청을 보낸다.
서버는 각 클라이언트 들의 상태를 항상 확인하고 제어하기 위하여 연결된 클라이언트마다 트리드(Thread)를 생성하여 데이터 스트림을 동기화시킨다.
트리드는 트리드 리스트에 저장되어 연결된 클라이언트와의 정보를 주고받는데 이용되며, 트리드 리스트는 각 트리드에서 전달받은 연결된 클라이언트의 목록을 클라이언트 리스트에 등록시킨다.
또한 서버는 클라이언트가 한꺼번에 많이 연결된 경우 발생되는 오버헤드를 제어하기 우|하여 클라이언트가 연결되는 순서대로 커넥션 객체|를 생성하여 각 클라이언트의 소켓과 스트림을 분산처리 한다.
그리고 서버가 클라이언트의 정보 전달을 허가하면 클라이언트 들은 물체를 추적하기 위한 이미지 처리를 시작한다.
만약 클라이언트가 예기치 않게 해제될 경우 서버는 클라이언트의 변화 상태를 감지하여 트리드를 중단시키고 해당 커넥션 객체를 제거한다.
클라이언트 들은 각각의 커넥션 객체를 통해 서버와 집속하게 되며 생성된 커넥션들은 접속된 클라이언트 들의 정보를 커넥션 리스트에 저장한다. 즉 각 클라이언트에서는 전송하고자 하는 메시지를 커넥션 객체를 이용하여 서버로 전송하고, 서버는 이러한 클라이언트의 요청을 프로토콜을 통해서 확인할 수 있다.
카메라에서 추적된 물체는 매 프레임마다 갱신되고 갱신된 정보는 커넥션 객체를 통하여 서버에 지속적으로 전달된다.
커넥션 객체가 클라이언트로부터 전달받은 메시지를 서버에 보내면 서버는 커넥션 객체로부터 넘겨 받은 메시지와 프로토콜을 서버의 트리드에 보내고 서버는 트리드 리스트에 저장되어 있는 모든 클라이언트에게 데이터를 전송하게 된다.
트리드는 서버에서 보내온 메시지를 해당 커넥션 객체에 넘겨주고 커넥션 객체는 그 메시지를 클라이언트에게 전달하게 된다.
이런 방법으로 서버와 클라이언트 들은 연결된 트리드와 커넥션 객체를 이용하여 메시지 프로토콜과 함께 메시지를 전송하거나 메시지를 어느 클라이언트로부터 전달받는지를 확인할 수 있다.
다음에서는 이동 물체 추적 시스템과 거리 검출 시스템에 대하여 구체적으로 설명한다.
다수의 카메라 중에서 물체의 투입이 감지되는 카메라가 있으면 그 카메라의 우선순위를 가장 높게 설정한 다음 카메라 영역 내에서의 이동 물체의 이동 벡터를 계산한다. 이동 물체가 현재 카메라 영역의 밖으로 이동할 경우 해당 영역을 담당하는 카메라를 작동시켜 같은 방식으로 반복한다.
연속된 동영상으로부터 이동 벡터를 추출하기 위한 이동 물체 추적알고리즘은 카메라 모델에 의해 결정된다. 동영상 취득을 위한 카메라 모델은 카메라와 배경이 모두 고정된 모델, 배경이 고정되고 카메라는 움직이는 모델, 카메라와 배경이 모두 움직이는 모델등 크게 세가지로 나눌 수 있다.
본 발명에서는 카메라와 배경이 모두 움직이는 모델에서 이동 물체 영역과 배경 영역을 분리하는 방법을 제안한다. 고정된 배경에서 고정된 카메라를 이용한 이동 물체의 추적은 입력 영상과 배경 영상 사이의 차이값을 계산하여 이동 물체의 출현 여부를 검출하는 차 영상 가방법이 일반적으로 많이 이용된다. 하지만 배경이 어둡게 변화하거나 밝게 변화하는 등 밝기의 변화가 일어나는 경우 배경까지 움직이는 물체로 인식하는 상황이 발생할 염려가 있다. 이런 경우 광류를 이용하는 방법이 일반적이나 계산이 복잡하다. 본 발명에서는 이러한 문제점을 해결하기 위한 방법으로 실험을 통하여 얻어진 최적의 임계값을 이용하는 방식을 채택하였으며 이에 관한 식은 다음과 같다.
∑|A-B|>＝α
A : 소스 이미지, B : 현재 이미지, α: 임계값
본 발명에서 사용한 위치 추적 알고리즘은 이전 프레임과 현재프레임에서의 움직임이 검출된 영역의 윤곽선을 추출하여 윤곽선의 상하좌우 값을 비교하여 물체의 이동경로를 추출하는 알고리즘을 이용한다. 카메라를 통하여 입력된 영상에서 움직임이 추출된 경우 이동 물체의 카메라 영역 내에서의 위치를 이전 프레임의 위치와 비교하여 물체의 이동경로를 인지하게 된다.
위치 추적 알고리즘에 의해서 이동 물체의 방향을 인지하기 위해서 CPU가 연산해야 하는 최대 연산 횟수는 같은 크기의 비트맵 파일을 전역 연산 알고리즘을 이용하여 비교 연산하는 보다 현저하게 줄일 수 있어서 동시에 물체의 이동 경로의 추출을 필요로 할 경우 최대의 연산속도를 가질 수 있다는 장점을 가진다.
비트맵 이미지는 가로세로 픽셀 단위로 저장되며, 각각의 픽셀의 위치정보(x축, y축 값과 비트맵의 색상(RGB)값이 저장된다. 본 발명에서 이동 물체 감지 알고리즘은 차 영상과 임계값을 이용하여 이전 프레임과 현재 프레임 사이에 빛의 조도나 환경의 영향에 의한 변화가 아닌 새로운 물체의 상을 인식한 경우에 변화가 나타나는 프레임들을 하드디스크 공간에 비트맵 이미지 형식의 파일과 동영상으로 저장된다.
물체 이동경로 추적 알고리즘은 계산량이 많은 기존에 물체의 추적 알고리즘들의 방식을 사용하면 실시간으로 변화하는 카메라의 입력 영상들마다의 계산을 할 경우에 CPU의 연산량을 증가시키기 때문에 사실상 시스템에 적용하기 어려운 점이있다. 본 발명에서는 최소한의 CPU 연산으로 시스템을 설계해야 하기 때문에 계산량이 가장 적은 방법으로 이동 물체를 감지하는 계산이 이루어짐과 동시에 적용할 수 있는 알고리즘을 고안하였으며, 그 내용은 다음과 같다.
먼저 차 연산을 수행하면서 이전 프레임과의 픽셀값이 임계값 이상인 화소의 위치 정보(pixel value)를 버퍼에 저장한다. 그 다음 버퍼에 저장된 위치 정보중 1/5의 위치 정보만 산출하여 x축의 가장 작은 값과 큰 값, Y축의 가장 작은 값과 큰 값을 비교 연산하여 변수로 저장한다.
그리고 이전 프레임에 저장된 상하좌우값을 비교하여 이동 물체의 화면상의 영역과 이동경로를 추출한다.
도 4는 이동 물체 출현을 감지하기 위한 알고리즘을 흐름도로 표현한 것이다.
이동 물체의 이동 벡터 계산은 이동 물체 출현이 감지된 경우 감지된 영역의 카메라로부터 읽어들여지는 영상을 하드디스크에 파일로 저장하는 동작이 이루어진다. 또한 이동 물체의 출현이 감지되면 감지된 이 동물체의 이동 벡터를 계산하여 물체의 이동 경로를 이용하여 현재 카메라의 영역 밖으로 물체가 이동하는 경우 해당 영역의 카메라를 동작하도록 만든다.
차 연산을 통하여 이동 중인 물체가 화면 영역 상에 있음이 확인된 경우에는 도 5와 같이 이동 중인 물체의 사각 영역을 계산하고, 이전 프레임의 사각 영역과의 위치를 비교 연산하여, 물체의 이동 벡터를 갱신하는 프로세스로 물체의 위치를 계산한다.
이동 물체의 이동 벡터는 이동 물체 출현 감지와 동시에 계산하는데, 이는 물체의 움직임을 인식하기 위해 화면의 변화를 감지하기 위한 계산과 이동 물체의 이동 벡터를 계산하기 위한 계산을 따로 두어 물체의 이동 벡터를 구하던 기존 방식의 결점을 보완하기 위함이다.
카메라의 화면 영역에 물체의 이동이 감지되면 이동 물체의 이동 벡터를 계산하기 위해서 물체의 윤곽을 사각영역으로 계산하는데, 그 계산 방법은 이전 프레임과 색상값의 차가 임계값 보다 큰 픽셀의 X Y 좌표를 구하고; 앞의 방법을 다섯번에 한번씩 구하여 이전에 구해진 X Y 좌표와 비교하여 x축의 가장 작은 값과 가장 큰 값, 그리고 y축의 가장 작은 값과 가장 큰 값을 구한 다음; 구하여진 X Y 의 좌표 값을 이용하여 사각영역을 설정한다.
이동 물체가 없던 배경 영상에서 이동 물체가 투입되면 이전 영상과의 차 연산 알고리즘을 이용하여 화면 변화를 감지하고, 이동 물체 추적 알고리즘을 사용하여 물체의 영역을 찾아낸다.
또한 물체가 투입된 방향이 카메라의 화면영역의 어느 부분인지를 감지하여 현재 이동 물체의 위치를 저장한다.
현재 이동 물체의 크기 및 위치를 파악하는 배열 변수의 위치 정보 값은 사각영역이 시작되는 X Y 좌표와, 사각영역이 끝나는 X Y 좌표로 판단할 수 있다.
이렇게 하여 이동 물체가 투입되어 이동함에 따라 이동 물체의 사각 영역을 재구성 한다. 즉 이동 물체가 회전을 하거나 이동 물체의 동작 변화 등에 의한 움직임으로 이동 물체 자체의 생김새 특성이 변화하더라도 물체의 위치를 추적하는 것이 가능하다.
입력된 소스 영상을 이용하여 감지된 이동 물체의 영역을 프레임별로 저장하면 입력된 소스 영상에서의 이동 물체의 영역은 물체의 형상이 변화하고, 물체의 일부분이 장애물에 가려져도 사각영역과 같이 표시되기 때문에 물체의 사각영역의 시작점과 끝점을 이용하여 이전 프레임과 현재 프레임에서의 물체의 이동방향 및 물체의 크기 변화, 그리고 물체의 변형 등과 같은 이동 벡터를 계산해 낼 수 있다.
본 발명에서는 계산량을 최소한으로 줄이고, 이동 물체의 이동 방향을 적은 오차로 검출해 낼 수 있는 알고리즘을 제안한다.
본 발명에 사용되는 이동 물체 추적 알고리즘은 다음과 같다
이전 프레임에서 입력된 영상의 색상 값을 버퍼1에 저장하는 제1단계;
현재 프레임의 영상의 색상 값을 버퍼2에 저장하는 제2단계;
실험을 통하여 얻어진 임계값을 적용하여 버퍼1과 버퍼2의 내용을 차 연산하는 제3단계;
차 연산 과정 중에서 임계값 이상의 값이 검출된 픽셀의 x/y 값 정보를 저장하는 제4단계;
임계값 이상의 값이 검출되는 픽셀들을 서로 비교하여 이동 물체의 상하좌우 값을 배열에 저장하는 제5단계;
다음 프레임에서 검출되는 픽셀들을 저장된 배열과 비교하여 물체의 외곽선이 이동된 경로를 추출하는 제6단계를 포함한다.
제안한 알고리즘을 사용하여 이동 중인 물체의 영역을 표시하면 물체의 영역을 검출하기 위해서 외곽선 검출 가법을 사용하던 기존의 방법들에서는 소스 영상의 모든 픽셀들의 색상값을 두 번 검색해야하지만 본 발명의 방법을 사용하면 한번만 검색하는 것으로도 충분하다.
본 발명은 이동 물체를 추적하기 위한 새로운 영상 영역화 방법으로 기존의 시스템들과는 달리 추적 물체의 특정 벡터를 구하는 과정을 필요로 하지 않고, 움직임이 인식되는 물체의 사각 영역을 추적하는 차 영상을 이용한 이동 물체의 추적방법을 제안한다. 본 발명이 목적하는 바는 기존의 시스템이 갖는 계산량 및 시스템의 복잡도를 개선하고, 이동하는 물체의 특정 벡터가 변화하는 환경에서도 적용이 가능한 새로운 접근 방법을 제시한다.
이동 물체를 추적하고 거리를 검출하는 시스템을 다음에서 설명한다.
도 6은 이동 물체 추적 시스템의 블록도를 나타내고 있다. 이동물체 추적 시스템은 CCD 카메라로부터 입력되는 신호를 프레임 그레버 보드를 통해 RGB 영상을 입력받고, RGB 영상중 Y신호만을 검출하여 저장한다. 검출된 Y영상의 하나의 프레임에 대한 입력이 완료되면 현재 영상과 전 영상의 대응되는 픽셀 차를 이용하여 차 영상을 구하여 이동 물체가 있는지를 검사하고 이동 물체가 있을 경우 차 영상을 투영 벡터를 통해 노이즈를 제거하고 이동하는 물체를 분리한다. 분리가 완료되면 전 영상에 대한 이동 물체 분리 좌표와 비교하여 이동 방향을 검사하고 이동 방향에 따라 현 영상에 움직이는 물체에 기준 블록을 설정한다. 정확한 블록 정합을 위해 현 영상과 전 영상에 에지를 검출하고 블록 정합하여 이동 물체를 추적한다.
차 영상을 이용한 이동물체 추적 방법에서 블록 정합 방법은 변화가 일어난 블록이 움직임이 일어나거나 이전 프레임의 어느 위치에 있는 블록과 가장 일치하는가를 추정하는 방법이지만, 블록 정합 방법은 움직임이 일어나는 부분과 정합 구간을 비교하여 움직임 여부를 알아내기 때문에 물체가 빠르게 이동하여 넓은 범위에 대해 이동이 있을 경우에는 심각한 문제가 발생하게 된다.
이러한 단점을 해결하고 비교적 빠른 처리를 위해 차 영상을 이용하여 움직임이 일어난 부분을 검출하고, 각각의 이동 물체를 분리하여 분리된 객체간의 블록 정합을 통해 이동 물체를 추적한다.
거리 검출 시스템의 블록도를 도 7에 나타내었다.
이 도면을 참조하면 다수의 CCD 카메라(1)의 아날로그 신호를 이미지 디코더(400)를 통해 YCbCr4:2:2 포맷의 디지털 신호로 변환하고, Y신호만을 검출한다. 그리고 검출된 Y 신호 영상을 Dual-Port SRAM 콘트롤러(401)를 이용하여 각각의 Dual- Port SRAM(402)에 저장한다. 하나의 입력이 완료되면 Dual- Port SRAM 콘트롤러(4012)를 통해 완료 신호를 보내고, 시프트레지스터부(403)는 완료 신호와 함께 각각의 Dual- Port SRAM(402)의 데이터를 시프트레지스터(403)에 저장한다. 스테레오 영상의 X축 4라인 1라인당 256 픽셀에 대한 입력이 완료되면 다음 부터는 한 픽셀씩 입력받으면서 스테레오 정합을 실시한다.
스테레오 정합시 나오는 거리 정보인 Depth 값을 SRAM에 저장하여 한 프레임에 대한 정합이 완료되면 SRAM에 Depth Map(404)이 작성된다. Depth 값은 실험값에 의한 카메라 초점 거리값을 이용하여 거리를 검출할 수 있다.
한 프레임에 대한 스테레오 정합이 완료 되연 IRQ 신호를 보내고, SRAM의 Depth Map 데이터를 SDRAM를 읽어와 DMA Control 블록과 LCD Driver 블록을 이용하여 TFT-LCD 화변에 출력하게 된다.
본 발명의 사업화 방법은 항공우주 분야와, 보완에 관련한 군사 시설 등에 제안될 수 있다. 구체적인 대상으로는 국내외의 공항시설 관련 회사 및 우주연구 관련 기관 그리고 군부내 및 보안이 중요한 시설을 관리하는 조직을 대상으로 한다.
군사 및 보완 시설에서 한정된 인원으로 효과적으로 침입자나 목표 물체를 추적 촬영할 수 있다. 향후 항공우주 산업의 세계적인 투자 환경이 조성되었으며, 첨단 장비를 활용한 군사작전 및 보안 관련 분야에 적용하게 된다면 효과적인 시장을 창출 할 수 있다.
적용 가능 제품은 공항내 이륙 및 착륭하는 항공기의 비행 상태 추적 사고 위험을 관제소와 항공기 조종사간의 의사 소통 및 의사결정을 위한 정보를 제공하고 사고가 발생시 원인 규명을 과학적으로 할 수 있으며, 인공위성 발사시 발사체의 기체 추적 촬영 및 지구 근접 물체들을 효과적으로 추적하고 촬영 할 수 있다.

Claims (2)

  1. 추적 대상을 카메라에서 인식하여 획득된 프레임의 조명과 노이즈를 제거하는 전처리 과정을 수행하고, 카메라 간의 관계를 정의(FOV)하며, 서버와 카메라간의 네트워크를 형성시키고, 정보 전달을 이용하여 처리된 결과를 각 카메라에서 넘겨받아 여러대의 카메라에서 물체를 추적하는 다중 카메라 제어를 수행하는 추적 시스템과;
    상기 추적 시스템에서 추적된 결과를 사용자의 모바일 단발기로 전달하는 모바일 통신 시스템을 포함하는 것을 특징으로 하는 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 시스템.
  2. 카메라로부터 입력되는 신호를 프레임 그레버 보드를 통해 입력되는 RGB 영상 중에서 Y신호만을 검출하여 저장하는 제1단계;
    제1단계에 의하여 하나의 프레임에 대한 입력이 완료되면 현재 영상과 전 영상의 대응되는 픽셀 차를 이용하여 차영상을 구하여 이동 물체가 있는지를 검사하는 제2단계;
    상기 제2단계에 의하여 이동 물체가 있을 경우 차 영상을 투영 벡터를 통해 노이즈를 제거하여 이동하는 물체를 분리하는 제3단계;
    상기 제3단계에 따라 분리가 완료되면 전 영상에 대한 이동 물체 분리 좌표와 비교하여 이동 방향을 검사하고 이동 방향에 따라 현 영상에 움직이는 물체에 기준 블록을 설정하는 제4단계;
    상기 제4단계에서 설정된 기준 블록에 대한 정확한 블록 정합을 위해 현 영상과 전 영상에 에지를 검출하고 블록 정합하여 이동 물체를 추적하는 제5단계에 의하여 이동 물체를 추적하는 것을 특징으로 하는 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법.
PCT/KR2010/004352 2010-07-05 2010-07-05 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템 WO2012005387A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2010/004352 WO2012005387A1 (ko) 2010-07-05 2010-07-05 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2010/004352 WO2012005387A1 (ko) 2010-07-05 2010-07-05 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
WO2012005387A1 true WO2012005387A1 (ko) 2012-01-12

Family

ID=45441350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/004352 WO2012005387A1 (ko) 2010-07-05 2010-07-05 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템

Country Status (1)

Country Link
WO (1) WO2012005387A1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160149506A (ko) * 2015-06-18 2016-12-28 주식회사 엘케이에이치엔지니어링 우주물체 감시장치
WO2017007077A1 (ko) * 2015-07-07 2017-01-12 한화테크윈 주식회사 감시 방법
CN108981670A (zh) * 2018-09-07 2018-12-11 成都川江信息技术有限公司 一种将实时视频中的场景自动定位坐标的方法
US10210273B2 (en) * 2012-08-31 2019-02-19 Hewlett-Packard Development Company, L.P. Active regions of an image with accessible links
RU2701092C1 (ru) * 2019-04-22 2019-09-24 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ сопровождения движущихся объектов
CN110415295A (zh) * 2019-07-03 2019-11-05 平安科技（深圳）有限公司 图像数据处理方法和图像数据处理设备
RU2710308C1 (ru) * 2019-09-20 2019-12-25 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ для обработки видеоданных из архива
CN110637268A (zh) * 2018-01-23 2019-12-31 深圳市大疆创新科技有限公司 目标检测方法、装置和可移动平台
WO2020046171A1 (ru) * 2018-08-29 2020-03-05 Александр Владимирович АБРАМОВ Способ построения системы видеонаблюдения для поиска и отслеживания объектов
WO2020054978A1 (ko) * 2018-09-10 2020-03-19 한성욱 이미지 생성 장치 및 그 방법
CN111127410A (zh) * 2019-12-13 2020-05-08 南京工程学院 一种汽车仪表盘印刷瑕疵的自动检测方法
US10650547B2 (en) 2018-07-26 2020-05-12 Microsoft Technology Licensing, Llc Blob detection using feature match scores
CN113507565A (zh) * 2021-07-30 2021-10-15 北京理工大学 一种全自动伺服跟踪拍摄方法
CN116340801A (zh) * 2023-05-31 2023-06-27 烟台市福山区动物疫病预防控制中心 一种畜牧养殖环境数据异常智能监控方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040041297A (ko) * 2002-11-11 2004-05-17 (주) 에이치비전 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법
KR20060100341A (ko) * 2006-08-30 2006-09-20 (주)로직아이텍 객체식별이 가능한 영상처리 감시시스템
KR20070006390A (ko) * 2005-07-08 2007-01-11 전자부품연구원 다중 시야 추적 방법 및 추적 시스템
KR20090021613A (ko) * 2007-08-27 2009-03-04 아주대학교산학협력단 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040041297A (ko) * 2002-11-11 2004-05-17 (주) 에이치비전 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법
KR20070006390A (ko) * 2005-07-08 2007-01-11 전자부품연구원 다중 시야 추적 방법 및 추적 시스템
KR20060100341A (ko) * 2006-08-30 2006-09-20 (주)로직아이텍 객체식별이 가능한 영상처리 감시시스템
KR20090021613A (ko) * 2007-08-27 2009-03-04 아주대학교산학협력단 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210273B2 (en) * 2012-08-31 2019-02-19 Hewlett-Packard Development Company, L.P. Active regions of an image with accessible links
KR101716431B1 (ko) 2015-06-18 2017-03-16 주식회사 레인보우 우주물체 감시장치
KR20160149506A (ko) * 2015-06-18 2016-12-28 주식회사 엘케이에이치엔지니어링 우주물체 감시장치
WO2017007077A1 (ko) * 2015-07-07 2017-01-12 한화테크윈 주식회사 감시 방법
CN110637268A (zh) * 2018-01-23 2019-12-31 深圳市大疆创新科技有限公司 目标检测方法、装置和可移动平台
US10650547B2 (en) 2018-07-26 2020-05-12 Microsoft Technology Licensing, Llc Blob detection using feature match scores
WO2020046171A1 (ru) * 2018-08-29 2020-03-05 Александр Владимирович АБРАМОВ Способ построения системы видеонаблюдения для поиска и отслеживания объектов
CN108981670A (zh) * 2018-09-07 2018-12-11 成都川江信息技术有限公司 一种将实时视频中的场景自动定位坐标的方法
CN108981670B (zh) * 2018-09-07 2021-05-11 成都川江信息技术有限公司 一种将实时视频中的场景自动定位坐标的方法
WO2020054978A1 (ko) * 2018-09-10 2020-03-19 한성욱 이미지 생성 장치 및 그 방법
US11151730B2 (en) 2019-04-22 2021-10-19 Ooo Itv Group System and method for tracking moving objects
RU2701092C1 (ru) * 2019-04-22 2019-09-24 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ сопровождения движущихся объектов
CN110415295A (zh) * 2019-07-03 2019-11-05 平安科技（深圳）有限公司 图像数据处理方法和图像数据处理设备
CN110415295B (zh) * 2019-07-03 2024-02-27 平安科技（深圳）有限公司 图像数据处理方法和图像数据处理设备
RU2710308C1 (ru) * 2019-09-20 2019-12-25 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ для обработки видеоданных из архива
CN111127410A (zh) * 2019-12-13 2020-05-08 南京工程学院 一种汽车仪表盘印刷瑕疵的自动检测方法
CN113507565A (zh) * 2021-07-30 2021-10-15 北京理工大学 一种全自动伺服跟踪拍摄方法
CN113507565B (zh) * 2021-07-30 2024-06-04 北京理工大学 一种全自动伺服跟踪拍摄方法
CN116340801A (zh) * 2023-05-31 2023-06-27 烟台市福山区动物疫病预防控制中心 一种畜牧养殖环境数据异常智能监控方法

Similar Documents

Publication Publication Date Title
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
US7583815B2 (en) Wide-area site-based video surveillance system
US10614311B2 (en) Automatic extraction of secondary video streams
JP5688456B2 (ja) 熱画像座標を用いた保安用カメラ追跡監視システム及び方法
WO2017030259A1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
KR100606485B1 (ko) 물체 추미 방법 및 물체 추미 장치
US8848053B2 (en) Automatic extraction of secondary video streams
JP3279479B2 (ja) 映像監視方法及び装置
WO2021091021A1 (ko) 화재 검출 시스템
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2020138736A1 (ko) 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
WO2019083299A1 (ko) 사육장 관리 장치 및 방법
KR20190103855A (ko) Ptz 카메라를 이용한 화재 검색 방법
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2016024680A1 (ko) 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스
WO2016072627A1 (ko) 전방위 카메라를 이용한 1대 다면 주차장 관리 시스템 및 관리방법
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
KR20100118368A (ko) 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법
KR100656345B1 (ko) 두 대의 카메라를 이용한 이동 물체 추적 장치 및 방법
WO2017007077A1 (ko) 감시 방법
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2020027512A1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
WO2022098164A1 (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10854461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10854461

Country of ref document: EP

Kind code of ref document: A1