WO2021095916A1 - 객체의 이동경로를 추적할 수 있는 추적시스템 - Google Patents

객체의 이동경로를 추적할 수 있는 추적시스템 Download PDF

Info

Publication number
WO2021095916A1
WO2021095916A1 PCT/KR2019/015453 KR2019015453W WO2021095916A1 WO 2021095916 A1 WO2021095916 A1 WO 2021095916A1 KR 2019015453 W KR2019015453 W KR 2019015453W WO 2021095916 A1 WO2021095916 A1 WO 2021095916A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
unit
tracking
movement path
Prior art date
Application number
PCT/KR2019/015453
Other languages
English (en)
French (fr)
Inventor
강태훈
Original Assignee
주식회사 벡터시스
강태훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 벡터시스, 강태훈 filed Critical 주식회사 벡터시스
Priority to US17/777,007 priority Critical patent/US20220406065A1/en
Publication of WO2021095916A1 publication Critical patent/WO2021095916A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a tracking system capable of tracking the movement of an object existing in a captured image, and more particularly, when an intruder occurs in a surveillance area, an intruder is automatically photographed so that the intruder is visible, and the intruder is continuously It relates to a tracking system that can track.
  • IP cameras connected by LAN or Wi-Fi
  • PTZ cameras pan-tilt cameras
  • network cameras are installed inside large buildings such as research institutes and public institutions, or small buildings such as homes, convenience stores, and banks. External intruders can be identified later.
  • the network camera used in such a security system even provides a function to detect and track an intruder, but when the intruder leaves the view area, there is a limit to confirming where the intruder is.
  • a wireless recognition device is often installed in a fixed structure, and even when a wireless recognition device is installed on a moving object, location tracking is performed using a radio frequency identification (RFID) card, or the like.
  • RFID radio frequency identification
  • a dispatch system for arrest a system in which a network camera or a surveillance sensor contacts a security company after detecting an intruder and dispatches accordingly is generally used.
  • the location tracking method can accurately track the location through RFID or a portable terminal, but this is limited to a visitor or a device whose location to be tracked has already been approved. And the security system should be able to monitor and track unauthorized intruders, but it is impossible in the existing method. In addition, even if an authorized visitor loses the device, location tracking is impossible.
  • the network camera cannot track further, and cannot track the direction and path of the subsequent movement.
  • the intruder's movement may appear irregularly in various monitoring devices, causing a problem of missing the intruder from the field of view.
  • a plurality of image photographing units that acquire image information by photographing a surveillance area, and image information transmitted from the image photographing unit are used as an image recognition program.
  • An object extraction unit that generates object information to which the coordinates of the moving object and the shooting time are added by analyzing, and the object information including the same object image by comparing and analyzing the image of each object through the object information, and the selected object Provides a tracking system capable of tracking the movement path of an object including an object tracking unit that tracks the movement path of the object by analyzing the coordinates and photographing time of information.
  • a plurality of image photographing units that acquire image information by photographing a surveillance area, and image information transmitted from each image photographing unit are stored, and a plurality of An image storage unit in which 2D or 3D drawings of the space in which the image capture unit is installed, and the image information stored in the image storage unit are analyzed with an image recognition program to generate object information to which the coordinates and shooting time of the moving object are added, and image storage An object extraction unit stored in the unit, an image output unit that outputs image information provided from each image capture unit as an image, and an object of an object selected as a selection signal of an object included in the image output through the image output unit is received.
  • Movement of an object including an object tracking unit that analyzes the image to extract object information including the same object image from the image storage unit, analyzes the coordinates and shooting time of the extracted object information, and displays the movement path of the object in the drawing It provides a tracking system that can trace the route.
  • An object extraction unit that generates object information to which the coordinates of the moving object and the shooting time are added by analyzing it, and the object information including the same object image by comparing and analyzing the image of each object through the object information, and the selected
  • An object tracking unit that tracks the movement path of the object by analyzing the coordinates and photographing time of the object information, and the structure image information to which the structure location information adjacent to the monitoring area location information is added, and the structure location information are transmitted to the communication network.
  • a user terminal installed with an augmented reality app that transmits to the outside through the structure and receives the image information of the surveillance area adjacent to the structure location information and outputs it by overlapping with the structure image information, and a device matched with the structure location information transmitted from the user terminal.
  • Moving path of an object including an augmented reality unit that searches for the location information of the surveillance area, detects the image information of the surveillance area to which the location information of the first surveillance area is added, and transmits the detected image information to a user terminal through a communication network. It provides a tracking system that can track the data.
  • the present invention it is possible to grasp the movement path of an object entering the surveillance area by connecting a plurality of image capture units for photographing each surveillance area through a communication network, and even if the object enters the blind area outside the surveillance area, Through the video analysis of the surveillance area, the path of movement in the blind spot can also be identified.
  • the present invention even if the object entering the surveillance area does not have an identification device such as a sensor, it is possible to easily track the movement path of the object by using the outline of the object that can be extracted from the surveillance image.
  • the present invention can facilitate tracking by displaying the movement path and the expected escape path of the object entering the surveillance area on a 2D or 3D drawing, and analyzing the intrusion process because the movement of the object is displayed on the 2D or 3D drawing. can do.
  • FIG. 1 is a block diagram illustrating a tracking system according to an embodiment of the present invention.
  • FIG. 2 is an embodiment of an outline photograph of an object displayed on an image output through a tracking system according to the present invention.
  • FIG. 3 is another embodiment of an outline photograph of an object displayed on an image output through a tracking system according to the present invention.
  • FIGS. 4 and 5 are exemplary views showing an image of an object output through the tracking system according to the present invention.
  • FIG. 6 is a block diagram illustrating a tracking system according to another embodiment of the present invention.
  • FIG. 7 is a plan view showing a structure in which a user terminal according to the present invention is located.
  • FIG 8 and 9 are screens showing screens output through a user terminal according to the present invention.
  • FIG. 1 is a block diagram illustrating an object tracking system according to an embodiment of the present invention.
  • the object tracking system includes a plurality of image capturing units 100 for obtaining image information for a surveillance area, and an image storage unit for storing image information provided from each image capturing unit 100.
  • An object extraction unit 300 that analyzes the image information to generate object information including coordinates and photographing time of a moving object, and an image of the same object by comparing and analyzing the image of the object through the object information.
  • An object tracking unit 400 for extracting object information including and tracking the movement path of the object, and may further include an image output unit 500 for selectively outputting the image information as an image.
  • the image capture unit 100, the image storage unit 200, the object extraction unit 300, the object tracking unit 400, and the image output unit 500 may be installed independently, and all of them are installed on a smartphone or a camera. It can also be installed to be built-in.
  • the image storage unit 200, the object extraction unit 300, the object tracking unit 400, and the image output unit 500 may be connected to each other through wired or short-range wireless communication.
  • 1+2 or 1+2+3 or 1+2+3+5 can be equipped with all device functions in a CCTV camera or IP camera in a built-in form.
  • 2+3 or 2+3+5 can be equipped with the functions of all devices in a single PC or server in a built-in form.
  • 1+2+3+4+5 can be integrated and mounted on a black box or smartphone with a display device attached to them.
  • an object tracking system includes a plurality of image capturing units 100.
  • the image capturing unit 100 is installed in a space to be monitored to capture a predetermined surveillance area and acquire image information, and it is preferable to generate image information to which an identification symbol is assigned to confirm the source of the image information. .
  • the image capturing unit 100 independently photographs a surveillance area designated as a core area among the entire management area to generate image information for the surveillance area.
  • the image capture unit 100 uses the generated image information through a wired/wireless communication network (hereinafter, abbreviated as'communication network'), the image storage unit 200, the object extraction unit 300, and the image output unit 500. You can transfer to one or more of these.
  • a wired/wireless communication network hereinafter, abbreviated as'communication network'
  • the image capturing unit 100 may capture the surveillance area to obtain image information to which the surveillance area location information is added.
  • This image capture unit 100 may use any camera as long as it can capture a surveillance area.
  • a CCTV camera an IP camera each having an IP address, or a smart phone may be used.
  • the image capture unit 100 uses a Pan Tilt Zoom (PTZ) camera with a built-in pan/tilt module and a zoom module to continuously track and photograph an object. It is used, and it is preferable to use a speed dome camera.
  • the image capturing unit 100 may use a PTZ coordinate value.
  • the PTZ coordinate value means a coordinate value based on three elements of pan, tilt, and zoom.
  • pan coordinate values are coordinates for horizontal rotation along the horizontal axis, and generally have a coordinate value of 0 to 360°.
  • the tilt coordinate value is a coordinate for rotating backwards and forwards along the vertical axis, and generally has a coordinate value of 0 to 360°.
  • the zoom coordinate value is for photographing by optically enlarging the object, and can be enlarged up to several tens of times according to the performance of the image capturing unit 100.
  • the zoom coordinate value divides the screen into equal sizes and sets the zoom magnification for each part in advance, so that when an object is captured in a part farthest from the shooting direction of the image capturing unit 100, the zoom of the camera is maximized.
  • the zoom of the camera is reduced.
  • the preset zoom magnification may be changed according to the location and situation in which the image capturing unit 100 is installed.
  • the image capturing unit 100 may take an enlarged image of the vehicle so that the license plate of the vehicle can be recognized, and when the object is a human, it may take an enlarged image of the person so that the face of the person can be recognized. .
  • the image capturing unit 100 may be configured to include a depth camera.
  • the image photographing unit 100 may be created on a drone.
  • the image capturing unit 100 photographs an object entering the surveillance area while moving by the drone to generate image information.
  • the image capturing unit 100 mounted on the drone may generate image information on the object while following the object.
  • the object tracking system may further include an image storage unit 200.
  • the image storage unit 200 is connected to each image capturing unit 100 through a communication network, and stores image information transmitted from the image capturing unit 100. If necessary, the image storage unit 200 may store a 2D drawing or a 3D drawing of a space in which the plurality of image capturing units 100 are installed.
  • a server based on a digital video recorder (DVR) or a network video recorder (NVR) is used, a personal computer (PC) equipped with a large-capacity hard disk drive (HDD) is used, or a smartphone Or you can use the MICRO SD mounted on the camera.
  • DVR digital video recorder
  • NVR network video recorder
  • PC personal computer
  • HDD hard disk drive
  • the image storage unit 200 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, an XD memory).
  • a flash memory type for example, RAM
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM PROM
  • Magnetic Memory A magnetic disk, or an optical disk may be used.
  • the image storage unit 200 includes an image information database (DB) in which image information transmitted from the image capturing unit 100 is stored, and a drawing database (DB) in which a drawing of a management area in which the image capturing unit 100 is installed is stored. , And an object information database (DB) in which object information to which coordinates and photographing time are added to the object image is stored.
  • DB image information database
  • DB drawing database
  • DB object information database
  • the drawing stored in the drawing DB is a 2D drawing or a 3D drawing of the management area.
  • the object information DB may store the object image as an enlarged image.
  • the DB constituting the image storage unit 200 is that a user requests handling of data through a DBMS (DataBase Management System), and the DBMS handles the contents of a physical file. Includes all.
  • the file base refers to a database composed of pure files excluding data logicality.
  • a 2D drawing or a 3D drawing may be produced in advance and stored in a drawing DB of the image storage unit 200.
  • an administrator may create a 3D drawing of a space in which the image capturing unit 100 is installed using a 3D scanner and then store it in a drawing DB as it is, or convert the 3D drawing to 2D and store it in the drawing DB.
  • an administrator creates a 3D drawing using a depth camera and a 3D drawing program built into the image storage unit 200 and then stores it in the drawing DB as it is, or converts the 3D drawing to 2D and converts the drawing DB. Can be saved on.
  • Such a depth camera provides an RGB color value and a depth value to a 3D drawing production program of an image storage unit, and the 3D drawing production program generates a 3D drawing in real time based on the RGB color value and the depth value.
  • the drawing generated in real time may be stored in the image storage unit 200, but may be used by loading only a memory provided in the image control system.
  • the data created through the depth camera is directly provided to the 3D drawing program and used for 3D drawing production, or converted into polygon data using 3D graphic tools such as 3ds Max, Maya, and Google Sketch. After that, it can be provided to the 3D drawing production program and used for 3D drawing production.
  • 3D graphic tools such as 3ds Max, Maya, and Google Sketch.
  • the image storage unit 200 may be configured to further include a tracking information database (DB) in which the behavior pattern information of the criminal and the location information of the entrance door and window in the building are stored.
  • DB tracking information database
  • the tracking information DB may further include information about the business place in the building.
  • the image storage unit 200 may further include an adjustment information database DB in which adjustment information for adjusting the operation of the image capture unit 100 is stored.
  • this adjustment information DB close-up information in which the rotation angle and zooming ratio of the image photographing unit 100 are set according to the coordinate values of the monitoring region in which the image photographing unit 100 acquires image information is stored, and the monitoring region is divided. The set coordinate value information is saved.
  • the zooming ratio may be adjusted according to the type of object. For example, since a person and a vehicle have different sizes, when the zooming ratio is set based on the vehicle, the zoom of the image capturing unit 100 is adjusted to reduce when the object is recognized as a person.
  • the object extraction unit 300 may be configured to include a volatile memory for storing the image information transmitted from the image capturing unit 100. I can.
  • an object tracking system includes an object extraction unit 300.
  • the object extraction unit 300 analyzes the image information provided from each image capture unit 100 with an image recognition program according to the administrator's selection, or analyzes the image information stored in the image storage unit 200 with an image recognition program, or Or, by analyzing the image information stored in the volatile memory with an image recognition program, the object information to which the coordinates of the moving object and the photographing time are added is generated.
  • the object extracting unit 300 may be configured to include a volatile storage storing image information transmitted from the image capturing unit 100 and storing an image recognition program.
  • the object extraction unit 300 stores the generated object information in the image storage unit 200 or a volatile memory.
  • the object extraction unit 300 may be connected to the image storage unit 200 through a communication network.
  • the object extraction unit 300 analyzes the image information stored in the image storage unit 200 or the volatile memory with an image recognition program to extract an object image of a moving object, and coordinates the object image. And object information to which the photographing time is added, and stores the object information in the image storage unit 200 or a volatile memory.
  • the object extracting unit 300 performs image recognition on an object image based on image information stored in the image storage unit 200 or volatile memory without extracting the object image. More specifically, the object extraction unit 300 analyzes the image information stored in the image storage unit 200 or the volatile memory with an image recognition program to generate a rectangular outline outside the object along the border of the moving object, and the outline The coordinates of each vertex of are extracted, object information to which the coordinates of the vertex of the outline and the photographing time are added are generated, and the object information is stored in the image storage unit 200 or a volatile memory.
  • the object extracting unit 300 may extract an object image composed of only the outline of the object, or may extract an object image composed of an outline of the object and an image within the outline. At this time, if an object image including an image within the outline is extracted, an identity check or an access control function for a specific person can be provided by using a facial recognition function in the future.
  • the object extracting unit 300 may calculate an aspect ratio of an outline by analyzing a horizontal/vertical ratio of an outline surrounding an object in the image information, and add the aspect ratio to the object information. At this time, since the aspect ratio of the object is changed when the object is extended, the arm portion may be excluded from the comparison target. Since the aspect ratio is changed when the posture changes such as sitting or lying down, the object extracting unit 300 includes an outline surrounding the standing object. The aspect ratio can be generated by analyzing the horizontal/vertical ratio of.
  • the object extracting unit 300 may use an image recognition program installed in a self-contained volatile memory, or may use an image recognition program installed in the image storage unit 200.
  • 2 and 3 are an embodiment of an outline photograph of an object displayed on an image output through an object tracking system according to the present invention.
  • the object extraction unit 300 extracts an outline of an object from an object image, and generates tracking image information in which the outline is merged with the image information, and the image storage unit 200 I can store it in my own volatile memory.
  • the outline of the object may be formed as a border portion of the object image as shown in FIG. 2 or a rectangle surrounding the object image as shown in FIG. 3.
  • the object extraction unit 300 may be configured to extract an object image of a moving object into a rectangle by analyzing image information stored in the image storage unit 200 or volatile memory with an image recognition program according to the administrator's selection.
  • the rectangle may be formed as the outline described above.
  • a portion of the rectangle surrounding the object in the object image excluding the object may be composed of achromatic colors such as black and white.
  • achromatic colors such as black and white.
  • the analysis of the color distribution map may be performed through analysis of a dominant color or a dominant hue.
  • the object included in the object image is within the specified error range by comparing it with the color value of the object selected by the administrator, it is determined as an object, and the type thereof is classified.
  • the object extraction unit 300 may classify the type of object image extracted from image information through an image recognition program into one of a person, a car, a motorcycle, a bicycle, and an animal.
  • the object extracting unit 300 may generate object information that further includes object type information in which the object type is specified.
  • the object extracting unit 300 may classify the type of the object to be tracked by incorporating a deep learning technology so that the accuracy of classifying the type is improved.
  • the object extraction unit 300 may generate an object information list in which object information is classified according to an object type, coordinates, or photographing time, and store the object information list in the image storage unit 200 or a volatile memory. This is to enable the administrator to select the object to be checked for each type even if the manager does not directly watch the video information of the surveillance area.
  • a server on which an image recognition program is installed may be used, or a PC on which an image recognition program is installed may be used.
  • the object extraction unit 300 analyzes image information received from the image capture unit 100, detects an object entering the surveillance area, and designates it as a target.
  • the object extracting unit 300 analyzes real-time coordinate values of the object designated as a target, and extracts close-up information equivalent to the coordinate values from the image storage unit 200 or a volatile memory.
  • the object extraction unit 300 analyzes the image information to detect whether there is an object that has entered the surveillance area from outside.
  • the object extraction unit 300 designates and tracks an object entering the surveillance area as a target, extracts the features of the object, and temporarily stores the object in a buffer or register. Analyze the coordinate values.
  • the object extracting unit 300 analyzes the image information and determines whether the object corresponds to a target to be tracked. For example, when an object designated as a target suddenly rotates or is obscured by another object and then reappears, a first object located at the same or similar coordinate value as the existing object and the features of the previously extracted object are compared and tracked. It is determined whether the first object corresponds to the object to be tracked. If it is determined that the first object is different from the object designated as the tracking target, it is determined whether the second object corresponds to the object to be tracked by detecting the second object second closest to the coordinate where the existing object was located.
  • the object extraction unit 300 tracks the movement of the object. Since such an object can be moved, the object extraction unit 300 tracks the movement of the object's position and analyzes the coordinate value of the object in real time.
  • the object extraction unit 300 finishes extracting the close-up information on the object, and then selects the newly detected object through the image information. Close-up information is extracted from the image storage unit 200 or a volatile memory.
  • the object extraction unit 300 analyzes the image information generated during the rotation process by the image capture unit 100 to the initial position, and generates an enlarged image of the object first detected through the image information among the objects entering the surveillance area. Designate a new target.
  • the object extracting unit 300 When the extraction of the close-up information on the object designated as the target is finished, the object extracting unit 300 generates a rotation signal of the image capturing unit 100 so that the image capturing unit 100 can capture the reference surveillance area. Provided to the photographing unit 100.
  • the object extraction unit 300 photographs the enlarged image of the object for a set time and then rotates to control the image capture unit 100 to rotate to the initial position. A signal is generated and provided to the image photographing unit 100.
  • the object extracting unit 300 may include an object recognition data table and a neighboring object data table to distinguish between an object and a neighboring object using image information.
  • the object recognition data table is configured by storing setting data for shape detection, biometric recognition, and coordinate recognition of an object in order to distinguish objects.
  • the setting data for the shape detection is setting data for recognizing the shape of a vehicle or a motorcycle as a motion-generating object in the form of a complex figure, in particular, a license plate of a vehicle.
  • the setting data for biometric recognition is setting data for recognizing an eye, a nose, a mouth, etc. based on the features of a human body, particularly a human face.
  • the surrounding object data table is configured by storing geographic information, shape detection, and coordinate recognition of the surrounding objects in order to allow the object extracting unit 300 to classify the surrounding objects.
  • the setting data for the geographic information of the surrounding objects is setting data for the terrain, features, etc. of a pre-set area
  • the setting data for shape detection corresponds to the setting data for the shape detection of the object recognition data table described above.
  • the setting data for coordinate recognition which must be commonly recognized, is linked with virtual spatial coordinates or geographic information through the image information generated by the image capture unit 100, and the points of the object and surrounding objects are particularly Make sure you know where to go.
  • the object extracting unit 300 extracts pre-designated close-up information according to the coordinate value so that an enlarged image of the object can be captured according to the coordinate value of the object entering the surveillance area.
  • the close-up information is a control signal designated to control the pan, stillze, and zoom of the image capturing unit 100 to preset values according to coordinate values.
  • the object extracting unit 300 may analyze the image information to designate a type of an object, and change the close-up information so that the zoom-in position of the image capturing unit 100 is changed according to the type of the object. For example, when the external shape of the object is analyzed as a person, the object extracting unit 300 changes the close-up information so that the face is zoomed in from the person's full body shape to a close-up. In addition, when the external shape of the object is analyzed as a vehicle through the image information, the object extraction unit 300 changes the close-up information so that an enlarged image of the license plate of the vehicle can be captured.
  • the object extracting unit 300 may modify the close-up information so that an enlarged image is photographed for an element (face, license plate) most suitable for tracking an object in the future.
  • the object extracting unit 300 analyzes the image information and, if it is read that the object is out of the surveillance area, may delete the image information of the object when the type of the object does not correspond to a predetermined type. This is to minimize the amount of image information stored in the image storage unit 200 by deleting image information about the object when an object, such as an animal, which is unnecessary for security confirmation enters the surveillance area.
  • the object extracting unit 300 detects the presence of the second object entering the surveillance area while extracting the close-up information of the first object designated as the target, the close-up of the first object until the first object leaves the surveillance area. It can be configured to extract information.
  • the object extraction unit 300 stops extracting close-up information of the object designated as the target, and the target change signal is transmitted. Close-up information of the input new object is extracted.
  • the image capturing unit 100 generates image information about the enlarged image of the object that has been designated as a target, and then generates image information about the enlarged image of the new object. In this way, the object for photographing the enlarged image may be selected by the administrator through the user interface.
  • a server on which an image recognition program is installed may be used, or a PC on which an image recognition program is installed may be used.
  • FIGS. 4 and 5 are exemplary views showing an image of an object output through the tracking system according to the present invention.
  • the object tracking system may further include an image output unit 500.
  • the image output unit 500 outputs the image information provided from each image capturing unit 100 or the image information stored in the image storage unit 200 as an image so that an administrator can check it.
  • the image output unit 500 may output the tracking image information as an image at the request of the administrator. have.
  • the image output unit 500 may use any one of a single monitor, multiple monitors, virtual reality devices, and augmented reality devices.
  • the image output unit 500 basically independently outputs the image information provided from each image photographing unit 100 as shown in FIG. 4 as a checkerboard arrangement, and then at the request of the administrator, a 2D view of the management area as shown in FIG.
  • the entire image in which the image information provided from each image capturing unit 100 on the 3D drawing overlaps at a predetermined position may be output.
  • the 2D drawing or the 3D drawing is a 2D drawing or a 3D drawing inside the building.
  • the image output unit 500 may output a 2D or 3D drawing of a management area in which an object movement path or an expected escape path is displayed at the request of an administrator, as shown in FIG. 5.
  • the object tracking system according to the present invention may further include a user interface (not shown).
  • an object existing in an image outputted through the image output unit 500 is selected and a selection signal of the object is generated, and a mouse, a keyboard, or a touch pad may be used.
  • the selection of an object means that an object to be tracked is designated by an administrator, and can be set by an administrator through a user interface. Specifically, when the image output unit 500 outputs image information as an image, the manager selects an inner area of the outline in which the actual image of the object exists in the image as a target to be tracked, or included in the object information list. You can select an object.
  • the user interface may provide a selection signal of the generated object to the object tracking unit 400 connected through a communication network.
  • the user interface receives the target change signal of the second object from the administrator so that the second object located in the surveillance area instead of the first object can be tracked before any first object leaves the surveillance area, and the object extraction unit 300 Can be provided with
  • an object tracking system includes an object tracking unit 400.
  • the object tracking unit 400 tracks the movement path of the object entering the surveillance area, and compares and analyzes each object image to store object information including the same object image in the image storage unit 200 or the object extraction unit 300. ), and by analyzing the coordinates and photographing time of the object information extracted from the image storage unit 200, the movement path of the object is tracked.
  • the object tracking unit 400 analyzes a color distribution diagram of a first object image of an object selected by an administrator among objects in which object information is stored in the image storage unit 200, and the first object among object information stored in the image storage unit
  • the object information including the second object having a predetermined numerical range of and matching is selected as the same candidate group.
  • the predetermined numerical range is 50% to 100%. If the degree of matching is set to less than 50%, different objects may be designated as the same object.
  • the object tracking unit 400 stores object information including an object image of a second object having the highest matching degree with the first object among the same candidate groups for each surveillance area, and the image storage unit 200 B. Extracts from the volatile memory of the object extraction unit 300.
  • the object tracking unit 400 stores object information including a second object image of a first object and a second object having the highest aspect ratio for each surveillance area among the same candidate group. 200) or from the volatile memory of the object extraction unit 300.
  • the color distribution diagram is preferably any one selected from the group consisting of a color distribution diagram of each pixel of an object image, a color distribution diagram for each line of an object image, an average color distribution diagram of the entire object image, and a color distribution diagram of each area of the divided object image. .
  • the color distribution for each pixel of the object image is determined through a method of comparing the RGB or Hue values of each pixel of the object image, and the color distribution for each line of the object image is RGB for the dominant color or It is determined by comparing the Hue values.
  • the average color distribution of the entire object image is determined through a method of comparing RGB or Hue values for the dominant color of the entire object image, and the color distribution of each area of the segmented object image is the upper/lower or upper/lower object image. It is determined by dividing it into middle/low and comparing the RGB or Hue values for the dominant colors in each area.
  • the object tracking unit 400 designates the selected object image as the same candidate group through comparative analysis of the first object selected by the administrator and the image, and the coordinates of the vertices of the object images of the same candidate group and the 3D drawing stored in the image storage unit By analyzing the position coordinates on the 3D drawing of the object image, the movement speed of the object may be detected by analyzing the change in the position coordinates and the photographing time of the object on the image information from which the object images of the same candidate group are extracted.
  • the object tracking unit 400 extracts object information including an object image having an increase/decrease rate of 0 to 10% of the detected movement speed among the same candidate group by the image storage unit 200 or object extraction. It is extracted from the volatile memory of the unit 300, and the movement path of the object may be tracked by analyzing the coordinates and photographing time of the extracted object information.
  • the object tracking unit 400 detects the moving speed of the first object by analyzing changes in the positional coordinates and photographing time of the first object on the image information from which the first object image is extracted. , The movable distance by time is calculated based on the movement speed of the first object, and object information including a second object image located on the movable distance among the object images of the same candidate group is stored in the image storage unit 200 or the object. It is extracted from the volatile memory of the extraction unit 300, and the movement path of the object may be tracked by analyzing the coordinates and photographing time of the extracted object information.
  • the object tracking unit 400 tracks the movement path of the object selected by the administrator among the images output through the image output unit 500, and analyzes the movement path of the object selected by the administrator in the drawing. It may also be configured to indicate the path of movement.
  • the object tracking unit 400 includes object information including the object image of the selected object based on the object image of the selected object as a selection signal of the object included in the image output through the image output unit 500 is received. Is extracted from the volatile memory of the image storage unit 200 or the object extraction unit 300. In addition, the object tracking unit 400 analyzes the coordinates and photographing time of the object information extracted from the image storage unit 200 or the volatile memory of the object extraction unit 300, and moves the object to the drawing stored in the image storage unit 200. Mark the route.
  • the object tracking unit 400 extracts object information including the object image that is the same as the image of the selected object, analyzes the coordinates and shooting time added to the object information, and selects the movement path of the object by the administrator. Use the object tracking program displayed in.
  • Such an object tracking program may be installed in a memory included in the object tracking unit 400 or may be installed in the image storage unit 200.
  • the object tracking unit 400 analyzes the coordinates and photographing time of the object information to generate a movement path image of the object to which each coordinate is connected, and merges the movement path image into a 2D drawing or 3D selected by the administrator, The drawing in which the moving path image is displayed is output through the image output unit 500.
  • the method of extracting the object information including the object image that is the same as the object image selected by the administrator by the object tracking unit 400 may use the following method alone or in combination.
  • object information including the object image and the same object image is determined by comparing the distribution map for each of R, G, and B of pixels in the outer area of the outline, and determining that the object is the same if it is within the specified error range. Extract.
  • object information including the same object image as the object image is extracted by comparing the size of the outline of the image photographed at the same magnification, and determining that the object is the same if it is within a specified error range.
  • the object tracking unit 400 may give an outline of the same color to an object determined to be the same as the object selected by the manager so that the manager can easily identify the object to be tracked by the manager in the image.
  • the object tracking unit 400 searches for and extracts object information including an outline of the same size based on the outline of the selected object.
  • the object tracking unit 400 gives a first color to the outline of the object matched with the selection signal of the object, and among the tracking image information stored in the volatile memory of the image storage unit 200 or the object extraction unit 300 The first color is applied to an outline of the same object as the object to which the first color is assigned.
  • the object tracking unit 400 detects a predicted path in which the selected object can move using a drawing stored in the image storage unit 200, and Object information may be generated by comparing the object image extracted from the image information transmitted from the image photographing unit 100 installed in the system with the object image selected by the administrator.
  • the object tracking unit 400 is a process of training an AI neural network model using deep learning, since the lighting may be different according to each surveillance area or the body ratio may be different according to the angle of the image capture unit.
  • the AI neural network model After training the AI neural network model with the image information of the first image capturing unit stored in the image storage unit, repeating the process of learning a model for determining whether the image is the same with the image information of the second image capturing unit stored in the image storage unit Transfer learning techniques can be applied.
  • a Classifying neural network model A for classifying the types of objects is learned to obtain a model with the highest human recognition rate, and then determine the same person again.
  • the accuracy can be improved by using it to train the neural network model B for.
  • Such deep learning can be used to classify people, cars, animals, etc. from the image information acquired by the image capturing unit 100, or learn to find only people, or learn to find the same object among the extracted object images. have.
  • learning to find a person in image information uses object images of various people such as the image photographing unit a and b, and learning to find the same object uses various image information, but a specific object that appeared in the image photographing unit a is photographed.
  • the accuracy of the deep learning result can be determined if it must be included among the several images in Part b.
  • the object tracking system according to the present invention may further include a control unit (not shown).
  • the control unit controls the operation of the image capturing unit 100 according to the close-up information extracted from the object extracting unit 300, and receives the image information from the image capturing unit 100 and receives the image storage unit 200 or the object extracting unit. It is stored in the volatile memory of 300, and is connected to the image capture unit 100, the image storage unit 200, the object extraction unit 300, the image output unit 500, the object tracking unit 400, and the user interface. do.
  • control unit generates a control signal based on the close-up information provided from the object extraction unit 300 and provides the control signal to the image capture unit 100 through a communication network to move the object inside the surveillance area. Controls the image capturing unit 100 to take an enlarged image of.
  • the control unit stores it in the volatile memory of the image storage unit 200 or the object extraction unit 300.
  • control unit when a target change signal is input through a user interface, the control unit provides it to the object extraction unit 300, and when an object selection signal is input, the control unit provides it to the object tracking unit 400.
  • control unit controls the image capturing unit 100 so that the image capturing unit 100 rotates to an initial position.
  • FIG. 6 is a block diagram illustrating a tracking system according to another embodiment of the present invention.
  • the object tracking system may further include a user terminal 600 and an augmented reality unit 700.
  • the user terminal 600 is installed with an augmented reality app that outputs an image of a neighboring space through a screen so that a user can check an image of a neighboring space where the view is blocked even if the view is blocked by a structure, and an augmented reality unit 700 ) Is connected through a communication network.
  • the augmented reality app collects a structure image adjacent to the surveillance area from a camera module provided in the user terminal 600
  • the augmented reality app generates structure image information to which the structure location information adjacent to the surveillance area location information is added.
  • the augmented reality app transmits the structure location information to the outside, for example, augmented reality unit 700 through a communication network, receives image information of a surveillance area adjacent to the structure location information, and outputs the structure by overlapping the structure image information.
  • the augmented reality app may be configured to adjust the transparency of the structure image information overlapping with the image information of the surveillance area according to a control signal input from the user. For example, if the user inputs 100% of the transparency of the structure image information in the augmented reality app of the user terminal 600, the augmented reality app displays the transparency of the structure image information so that only the image information of the surveillance area excluding the structure image information is output. Control. And when the user inputs the transparency of the structure image information as 50%, the augmented reality app controls the transparency of the structure image information so that the structure image information is displayed in a semi-transparent state along with the image information of the surveillance area.
  • the augmented reality unit 700 provides an image of a neighboring space in which the user's view is blocked to the user terminal 600, and is connected to the user terminal 600 through a communication network for this purpose.
  • the augmented reality unit 700 searches for the location information of the first surveillance area matched with the structure location information transmitted from the user terminal 600, and retrieves the image information of the surveillance area to which the location information of the first surveillance area is added. It is detected from the image storage unit, and the detected image information is transmitted to the user terminal 600 through a communication network.
  • FIGS. 8 and 9 are screens showing a screen output through a user terminal according to the present invention.
  • the observer (X) transmits the location information of the first structure on the wall through the user terminal 600 to the augmented reality unit 700 through the communication network
  • the augmented reality unit 700 from the user terminal 600
  • the first surveillance area location information matched with the transmitted first structure location information is searched and the first video information of the surveillance area to which the first surveillance area location information is added is detected from an image storage unit, and the first video information is After separating the included object A and the object image of the object B, the object image is transmitted to the user terminal 600 through a communication network.
  • the user terminal 600 owned by the observer X receives object images of objects A and B, overlaps the structure image information, and outputs them.
  • the augmented reality unit 700 can check the position and size of the object A and object B located in the surveillance area adjacent to the structure location information, the object A and B relative to the observer (X) Since the location is known, the object image of the objects A and B matched with the wall surface that generated the structure location information can be shown to the observer (X).
  • the wall surface becomes translucent as shown in FIG. Are printed together.
  • the wall surface becomes opaque as shown in FIG. 9, so that the images of the objects A and B cannot be viewed.
  • the object tracking system according to the present invention may further include an object behavior prediction unit (not shown).
  • the object behavior prediction unit analyzes object information including the same object image extracted by the object tracking unit 400, behavior pattern information of criminals, and location information of entrance doors and windows in the building by machine learning or data mining algorithms. By generating the escape route information of the object, the escape route information is transmitted to the user terminal located on the escape route of the object so that the user can recognize an intruder located in the vicinity.
  • the object behavior prediction unit analyzes the object information, the criminal's behavior pattern information, the location information of the entrance doors and windows in the building, and the information of the workplace located in the building by machine learning or data mining algorithms to analyze the object's escape route information You can also create it.
  • the object behavior prediction unit automatically finds statistical rules or patterns for information on a plurality of objects including the same object image and analyzes the escape route of the object.
  • the object behavior prediction unit is a classification that infers classification and classification through a specific definition of a certain group, clustering that finds a cluster that shares specific characteristics, and association that defines the relationship between events that occurred at the same time. ), it is possible to analyze the flight path of an object by continuity (Sequencing) to identify the relationship occurring over a specific period, and by forecasting (Forecasting) to predict the future based on patterns in a large data set.
  • continuity Sequencing
  • Forecasting Forecasting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

감시영역에 침입자가 발생하는 경우에 자동으로 침입자가 보이도록 침입자를 촬영하고, 지속적으로 침입자를 추적할 수 있는 추적시스템이 개시된다. 이를 위하여 감시영역을 촬영하여 영상정보를 획득하는 복수개의 영상 촬영부와, 상기 영상 촬영부로부터 전송된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하는 객체 추출부, 및 상기 객체정보를 통해 각 객체의 이미지를 비교 분석하여 동일한 객체 이미지가 포함된 객체정보를 선정하고, 선정된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적하는 객체 추적부를 포함하는 객체의 이동경로를 추적할 수 있는 추적시스템을 제공한다. 본 발명에 의하면, 감시영역에 진입한 객체의 이동경로를 파악할 수 있고, 객체가 감시영역을 벗어나 사각지대에 진입하더라도 사각지대에 인접한 감시영역의 영상분석을 통해 사각지대에서의 이동경로도 파악할 수 있다.

Description

객체의 이동경로를 추적할 수 있는 추적시스템
본 발명은 촬영된 영상 내에 존재하는 객체의 이동을 추적할 수 있는 추적시스템에 관한 것으로, 보다 상세하게는 감시영역에 침입자가 발생하는 경우에 자동으로 침입자가 보이도록 침입자를 촬영하고, 지속적으로 침입자를 추적할 수 있는 추적시스템에 관한 것이다.
보안의 중요성이 증가됨에 따라 감시 카메라를 사용한 보안 시스템이 설치된 장소가 증가하고 있다. 그러나 종래의 보안 시스템은 각각의 감시 카메라가 담당하는 지역 또는 부분을 독립적으로 촬영하여 이미지를 보안 시스템에 저장하고 분석하고 있었다.
따라서, 복수의 감시 카메라가 특정 지역을 감시하더라도 각각의 감시 카메라 간의 네트워킹 기능이 부족하여 각각의 감시 카메라로부터 포착된 영상 간의 연관성 및 동일 객체의 이동경로 파악은 보안 시스템을 관리하는 관리자의 수작업에 의존하고 있는 실정이었다.
최근에는 동일 객체의 이동경로를 자동으로 파악할 수 있도록 네트워크 카메라가 사용되고 있다. 이러한 네트워크 카메라는 랜선 또는 와이파이로 연결되는 방식의 IP 카메라로서 실시간으로 회전 및 확대/축소를 하여 침입자를 추적하는 PTZ 카메라(또는 팬틸트 카메라) 등이 사용되고 있다.
또한, 네트워크 카메라는 연구소, 공공기관과 같은 대형 건물의 내부 또는 가정, 편의점, 은행과 같은 소형 건물의 내부에 설치되며, 네트워크 카메라로부터 출력되는 영상을 분석하여 네트워크 카메라가 설치된 곳을 실시간으로 감시하거나 추후에 외부 침입자를 확인할 수 있다.
이러한 보안 시스템에 사용되는 네트워크 카메라는 침입자를 감지하고 추적하는 기능까지는 제공하지만, 침입자가 감시영역(view area)을 벗어날 경우에는 침입자가 어느 곳에 있는지를 확인하는데 한계가 있다. 구체적으로, 종래의 위치 추적을 위한 기술은 무선인식 장치가 고정된 구조물에 설치된 경우가 많고, 무선인식 장치가 이동체에 설치되어 있는 경우에도 RFID(Radio Frequency IDentification) 카드 등을 이용하여 위치 추적을 하거나, 무선 통신을 수행하는 휴대용 단말기를 통해 중앙 관리부와 통신하여 이동체의 위치를 추적하는 것이 일반적이다. 즉, 중앙 관리부와 무선 통신을 하는 장치가 이동체에 설치가 되어 있어야 실시간 위치 추적이 가능하다. 그리고 검거를 위한 출동 시스템의 경우에도 네트워크 카메라나 감시센서가 침입자를 발견한 후 보안업체에 연락을 주면 이에 따라 출동을 하는 시스템이 일반적으로 사용되고 있다.
다시 말해, 종래 기술에서 위치추적 방법은 RFID나 휴대용 단말기 등을 통해 정확한 위치 추적이 가능하지만 이는 위치를 추적하고자 하는 대상이 이미 승인 받은 방문자 또는 장치에 한정된다. 그리고 보안 시스템은 승인 받지 않은 침입자에 대한 감시 및 추적이 가능해야 하지만, 기존 방식에서는 불가능하다. 또한 승인 받은 방문자가 장치를 분실하였을 경우에도 위치 추적이 불가능하다.
또한, 네트워크 카메라는 물체가 감시영역을 벗어나게 되면 더 이상의 추적은 불가능하고, 이후 움직임의 이동방향과 경로에 대해서는 추적하지 못한다.
아울러, 침입자의 이동이 활발하면 여러 모니터링 장치에 불규칙적으로 출현하기 때문에 침입자를 시야에서 놓치는 문제가 발생될 수 있다.
게다가, 네트워크 카메라의 화면은 평면적인으로 나열되기 때문에 침입자의 이동경로와 도주경로를 파악하는데 어려움이 있다.
이에 따라, 네트워크 카메라나 감시센서에 의해 침입자가 발견되어 보안 업체에 연락이 취해지더라도 출동하는 시간동안 이미 침입자는 도주할 가능성이 크고 보안업체가 출동하는 위치도 네트워크 카메라나 센서의 위치를 중심으로 출동할 수밖에 없어 실제 침입자의 위치와는 큰 차이가 생길 수밖에 없다. 그렇기 때문에 침입자의 검거나 체포가 어렵다는 단점이 있다.
따라서, 본 발명의 목적은 복수 곳의 감시영역을 촬영하는 영상을 통해 감시영역 내에서 이동하는 객체만을 쉽게 구분할 수 있고, 이러한 객체의 구분을 통해 사각지대를 통과하는 객체의 이동경로를 추적할 수 있는 추적시스템을 제공하는데 있다.
상술한 본 발명의 목적을 달성하기 위하여, 본 발명의 제1 실시예에서는 감시영역을 촬영하여 영상정보를 획득하는 복수개의 영상 촬영부와, 상기 영상 촬영부로부터 전송된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하는 객체 추출부, 및 상기 객체정보를 통해 각 객체의 이미지를 비교 분석하여 동일한 객체 이미지가 포함된 객체정보를 선정하고, 선정된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적하는 객체 추적부를 포함하는 객체의 이동경로를 추적할 수 있는 추적시스템을 제공한다.
또한, 본 발명의 목적을 달성하기 위하여, 본 발명의 제2 실시예에서는 감시영역을 촬영하여 영상정보를 획득하는 복수개의 영상 촬영부와, 각 영상 촬영부로부터 전송된 영상정보를 저장하며 복수개의 영상 촬영부가 설치된 공간의 2D 도면 또는 3D 도면이 저장된 영상 저장부와, 상기 영상 저장부에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하고 영상 저장부에 저장하는 객체 추출부와, 각 영상 촬영부로부터 제공된 영상정보를 영상으로 출력하는 영상 출력부, 및 상기 영상 출력부를 통해 출력된 영상에 포함된 객체의 선택신호가 수신됨에 따라 선택된 객체의 객체 이미지를 분석하여 동일한 객체 이미지가 포함된 객체정보를 영상 저장부로부터 추출하고, 추출된 객체정보의 좌표 및 촬영시간을 분석하여 상기 도면에 객체의 이동경로를 표시하는 객체 추적부를 포함하는 객체의 이동경로를 추적할 수 있는 추적시스템을 제공한다.
아울러, 본 발명의 목적을 달성하기 위하여, 본 발명의 제3 실시예에서는 감시영역을 촬영하여 감시영역 위치정보가 부가된 영상정보를 획득하는 복수개의 영상 촬영부와, 상기 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하는 객체 추출부와, 상기 객체정보를 통해 각 객체의 이미지를 비교 분석하여 동일한 객체 이미지가 포함된 객체정보를 선정하고, 선정된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적하는 객체 추적부와, 상기 감시영역 위치정보에 인접한 구조물 위치정보가 부가된 구조물 영상정보를 생성하고, 상기 구조물 위치정보를 통신 네트워크를 통해 외부로 송신하며, 상기 구조물 위치정보에 인접한 감시영역의 영상정보를 수신받아 구조물 영상정보에 오버랩하여 출력하는 증강현실앱이 설치된 사용자 단말기, 및 상기 사용자 단말기로부터 전송된 구조물 위치정보와 매칭된 제1 감시영역 위치정보를 검색하여 상기 제1 감시영역 위치정보가 부가된 감시영역의 영상정보를 검출하고, 검출된 영상정보를 통신 네트워크를 통해 사용자 단말기로 전송하는 증강현실부를 포함하는 객체의 이동경로를 추적할 수 있는 추적시스템을 제공한다.
본 발명에 의하면, 각 감시영역을 촬영하는 복수개의 영상 촬영부를 통신 네트워크로 연결하여 감시영역에 진입한 객체의 이동경로를 파악할 수 있고, 객체가 감시영역을 벗어나 사각지대에 진입하더라도 사각지대에 인접한 감시영역의 영상분석을 통해 사각지대에서의 이동경로도 파악할 수 있다.
또한, 본 발명은 감시영역에 진입한 객체가 센서 등의 식별장치를 소지하고 있지 않더라도 감시영상으로부터 추출할 수 있는 객체의 외곽선을 활용해 객체의 이동경로를 손쉽게 추적할 수 있다.
아울러, 본 발명은 감시영역에 진입한 객체의 외곽선 분석을 통해 감시영역에 진입한 객체의 종류와 숫자를 손쉽게 획득할 수 있다.
게다가, 본 발명은 감시영역에 진입한 객체의 이동경로와 예상도주경로를 2D 또는 3D 도면에 표시하여 추적을 용이하게 진행할 수 있으며, 객체의 움직임이 2D 또는 3D 도면에 표시되기 때문에 침입과정을 분석할 수 있다.
도 1은 본 발명의 일 실시예에 따른 추적시스템을 설명하기 위한 구성도이다.
도 2는 본 발명에 따른 추적시스템을 통해 출력된 영상에 표시된 객체의 외곽선 사진의 일 실시예이다.
도 3은 본 발명에 따른 추적시스템을 통해 출력된 영상에 표시된 객체의 외곽선 사진의 다른 실시예이다.
도 4 및 도 5는 본 발명에 따른 추적시스템을 통해 출력되는 객체의 영상을 나타내는 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 추적시스템을 설명하기 위한 구성도이다.
도 7은 본 발명에 따른 사용자 단말기가 위치한 구조물을 나타내는 평면도이다.
도 8 및 도 9는 본 발명에 따른 사용자 단말기를 통해 출력되는 화면을 나타내는 화면이다.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예들에 의한 객체의 이동경로를 추적할 수 있는 추적시스템(이하, '객체 추적시스템'이라 약칭함)을 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 객체 추적시스템을 설명하기 위한 구성도이다.
도 1을 참조하면, 본 발명에 따른 객체 추적시스템은 감시영역에 대한 영상정보를 획득하는 복수개의 영상 촬영부(100)와, 각 영상 촬영부(100)로부터 제공된 영상정보를 저장하는 영상 저장부(200)와, 상기 영상정보를 분석하여 움직이는 객체의 좌표 및 촬영시간이 포함된 객체정보를 생성하는 객체 추출부(300)와, 및 상기 객체정보를 통해 객체의 이미지를 비교 분석하여 동일한 객체 이미지가 포함된 객체정보를 추출하여 객체의 이동경로를 추적하는 객체 추적부(400)를 포함하며, 선택적으로 상기 영상정보를 영상으로 출력하는 영상 출력부(500)를 더 포함할 수 있다.
이러한 영상 촬영부(100), 영상 저장부(200), 객체 추출부(300), 객체 추적부(400), 영상 출력부(500)는 각각 독립적으로 설치될 수도 있고, 모두 스마트폰이나 카메라에 내장되도록 설치될 수도 있다. 그리고 영상 저장부(200), 객체 추출부(300), 객체 추적부(400), 및 영상 출력부(500)는 서로 유선 또는 근거리 무선통신으로 연결될 수도 있다.
필요에 따라, 영상 촬영부(100)를 ①로, 영상 저장부(200)를 ②로, 객체 추출부(300)를 ③으로, 영상 출력부(500)를 ④로, 객체 추적부(400)를 ⑤로 지칭하는 경우, ①+② 또는 ①+②+③ 또는 ①+②+③+⑤는 CCTV 카메라나 IP 카메라에 모든 장치의 기능이 내장형 형태로 탑재될 수 있다. 그리고 ②+③ 또는 ②+③+⑤는 하나의 PC 또는 서버에 모든 장치의 기능이 내장형 형태로 탑재될 수 있다. 아울러, ①+②+③+④+⑤는 디스플레이 장치가 부착된 블랙박스나 스마트폰에 모든 장치의 기능이 통합되어 탑재될 수 있다.
이하, 도면을 참조하여 각 구성요소별로 보다 구체적으로 설명한다.
도 1을 참조하면, 본 발명에 따른 객체 추적시스템은 복수개의 영상 촬영부(100)를 포함한다.
상기 영상 촬영부(100)는 감시하고자 하는 공간에 설치되어 미리 지정된 감시영역을 촬영하고 영상정보를 획득하는 것으로, 영상정보의 출처를 확인할 수 있도록 식별기호가 부여된 영상정보를 생성하는 것이 바람직하다.
이러한 영상 촬영부(100)는 전체 관리구역 중 핵심영역으로 지정된 감시영역을 독립적으로 촬영하여 감시영역에 대한 영상정보를 생성한다.
또한, 영상 촬영부(100)는 생성된 영상정보를 유무선통신 네트워크(이하, '통신 네트워크'라 약칭함)를 통해 영상 저장부(200), 객체 추출부(300), 영상 출력부(500) 중 어느 한 곳 이상으로 전송할 수 있다.
아울러, 영상 촬영부(100)는 감시영역을 촬영하여 감시영역 위치정보가 부가된 영상정보를 획득할 수도 있다.
이러한 영상 촬영부(100)는 감시영역을 촬영할 수 있다면 어떠한 카메라를 사용하더라도 무방하다. 예를 들면, 영상 촬영부(100)로는 CCTV 카메라나, 각자 IP 주소를 가지고 있는 IP 카메라, 또는 스마트폰 등을 사용할 수 있다.
특정 양태로서, 본 발명에 따른 영상 촬영부(100)는 객체를 연속적으로 추적하며 촬영하기 위해 팬/틸트(pan/tilt) 모듈 및 줌(zoom) 모듈이 내장된 PTZ(Pan Tilt Zoom) 카메라를 사용하며, 바람직하게는 스피드 돔 카메라를 사용하는 것이 좋다. 이때, 영상 촬영부(100)는 PTZ 좌표값을 이용할 수 있다. 여기서, PTZ 좌표값이란 팬, 틸트, 및 줌의 3가지 요소에 의한 좌표값을 의미한다.
이러한 팬 좌표값은 가로축으로 좌우 회전하기 위한 좌표이며, 일반적으로 0 내지 360°의 좌표값을 갖는다. 그리고 틸트 좌표값은 세로축으로 전후 회전하기 위한 좌표이며, 일반적으로 0 내지 360°의 좌표값을 갖는다. 마지막으로, 줌 좌표값은 객체를 광학적으로 확대하여 촬영하기 위한 것으로, 영상 촬영부(100)의 성능에 따라 수십 배까지 확대가 가능하다.
또한, 줌 좌표값은 화면을 일정한 크기로 등분하여 사전에 각 부분별로 줌 배율을 설정해 놓아 영상 촬영부(100)의 촬영방향으로부터 제일 멀리 떨어져있는 부분에 객체가 포착되는 경우 카메라의 줌을 최대로 확대시키고, 영상 촬영부(100)와 가까운 부분에 객체가 포착되는 경우에는 카메라의 줌을 축소시킨다. 이때, 영상 촬영부(100)가 설치되는 장소 및 상황에 따라 사전에 설정한 줌 배율이 변경될 수도 있다.
한편, 영상 촬영부(100)는 객체가 차량인 경우 차량의 번호판이 인식될 수 있도록 차량의 확대영상을 촬영하며, 객체가 사람인 경우 사람의 얼굴이 인식될 수 있도록 사람의 확대영상을 촬영할 수 있다.
필요에 따라, 영상 촬영부(100)는 뎁스(depth) 카메라를 포함하여 구성될 수 있다.
또한, 영상 촬영부(100)는 드론에 창작될 수도 있다. 이러한 영상 촬영부(100)는 드론에 의해 이동하면서 감시영역으로 진입한 객체를 촬영하여 영상정보를 생성한다. 그리고 하고, 드론에 장착된 영상 촬영부(100)는 객체를 따라가면서 객체에 대한 영상정보를 생성할 수도 있다.
도 1을 참조하면, 본 발명에 따른 객체 추적시스템은 영상 저장부(200)를 더 포함할 수 있다.
상기 영상 저장부(200)는 통신 네트워크를 통해 각 영상 촬영부(100)에 연결된 것으로, 영상 촬영부(100)로부터 전송된 영상정보를 저장한다. 필요에 따라, 영상 저장부(200)는 복수개의 영상 촬영부(100)가 설치된 공간의 2D 도면 또는 3D 도면이 저장될 수 있다.
이러한 영상 저장부(200)로는 DVR(Digital Video Recorder)나 NVR(Network Video Recorder) 기반의 서버를 사용하거나, 대용량 HDD(Hard Disk Drive)가 장착된 PC(Personal Computer)를 사용하거나, 또는 스마트폰이나 카메라에 장착된 MICRO SD를 사용할 수 있다.
이외에도, 영상 저장부(200)로는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 어느 하나의 저장매체를 사용할 수도 있다.
구체적으로, 영상 저장부(200)는 영상 촬영부(100)로부터 전송된 영상정보가 저장된 영상정보 데이터베이스(DB)와, 영상 촬영부(100)가 설치된 관리구역의 도면이 저장된 도면 데이터베이스(DB), 및 객체 이미지에 좌표 및 촬영시간이 부가된 객체정보가 저장되는 객체정보 데이터베이스(DB)를 포함하여 구성된다. 여기서, 도면 DB에 저장된 도면은 관리구역의 2D 도면 또는 3D 도면이다. 그리고 객체정보 DB는 객체 이미지를 확대 영상으로 저장할 수 있다.
이러한 영상 저장부(200)를 구성하는 DB는 사용자가 DBMS(DataBase Management System)를 통해서 데이터에 대한 핸들링을 부탁하고, 상기 DBMS가 물리적인 파일의 내용을 핸들링 하는 것으로, 파일 베이스 형태와 DB 베이스 형태를 모두 포함한다. 이때, 파일 베이스는 데이터적 논리성을 배제한 순수한 파일만으로 구성되어진 데이터베이스를 의미한다.
제1 실시 양태로서, 2D 도면 또는 3D 도면은 사전에 제작되어 영상 저장부(200)의 도면 DB에 저장될 수 있다.
제2 실시 양태로서, 관리자가 3D 스캐너를 사용해 영상 촬영부(100)가 설치된 공간의 3D 도면을 생성한 후 그대로 도면 DB에 저장하거나, 상기 3D 도면을 2D로 변환하여 도면 DB에 저장할 수 있다.
제3 실시 양태로서, 관리자가 뎁스 카메라와 영상 저장부(200)에 내장된 3D 도면제작 프로그램을 사용하여 3D 도면을 생성한 후 그대로 도면 DB에 저장하거나, 상기 3D 도면을 2D로 변환하여 도면 DB에 저장할 수 있다.
이러한 뎁스 카메라는 RGB 컬러값과 뎁스값을 영상 저장부의 3D 도면제작 프로그램에 제공하며, 상기 3D 도면제작 프로그램이 RGB 컬러값과 뎁스값을 기반으로 3D 도면을 실시간으로 생성한다. 그리고 실시간으로 생성된 도면은 영상 저장부(200)에 저장될 수도 있지만, 영상관제시스템에 구비된 메모리에만 로드(load)하여 사용할 수도 있다.
필요에 따라, 뎁스 카메라를 통해 생성된 데이터는 곧바로 3D 도면제작 프로그램에 제공되어 3D 도면제작에 사용되거나, 3ds Max, Maya, Google Sketch 등의 3D 그래픽툴을 이용하여 폴리곤(polygon) 데이터로 변환된 후 3D 도면제작 프로그램에 제공되어 3D 도면제작에 사용될 수 있다.
한편, 영상 저장부(200)는 범죄자의 행동패턴정보 및 건물 내 충입문과 창문의 위치정보가 저장된 추적정보 데이터베이스(DB)를 더 포함하여 구성될 수 있다. 이때, 건물 내에 입점한 사업장의 종류에 따라 침입자의 이동경로가 달라질 수 있기 때문에 추적정보 DB에는 건물 내에 입점한 사업장 정보가 더 포함될 수 있다.
또한, 영상 저장부(200)는 영상 촬영부(100)의 동작을 조정하는 조정정보가 저장된 조정정보 데이터베이스(DB)를 더 포함하여 구성될 수 있다. 이러한 조정정보 DB는 영상 촬영부(100)가 영상정보를 획득하는 감시영역의 좌표값에 따라 영상 촬영부(100)의 회전각도 및 주밍비율이 설정된 클로즈업 정보가 저장되고, 상기 감시영역이 분획되어 설정된 좌표값 정보가 저장된다. 여기서, 주밍비율은 객체의 종류에 따라 조절될 수 있다. 예컨대, 사람과 자동차는 크기가 서로 다르기 때문에 주밍비율이 자동차를 기준으로 설정된 경우, 객체가 사람으로 인식되면 영상 촬영부(100)의 줌이 축소되도록 조절된다.
전술한 영상 저장부(200)가 본 발명에 따른 객체 추적시스템에 포함되지 않은 경우에는 객체 추출부(300)가 영상 촬영부(100)로부터 전송된 영상정보를 저장하는 휘발성 메모리를 포함하여 구성될 수 있다.
도 1을 참조하면, 본 발명에 따른 객체 추적시스템은 객체 추출부(300)를 포함한다.
상기 객체 추출부(300)는 관리자의 선택에 따라 각 영상 촬영부(100)로부터 제공된 영상정보를 영상인식 프로그램으로 분석하거나, 상기 영상 저장부(200)에 저장된 영상정보를 영상인식 프로그램으로 분석하거나, 또는 휘발성 메모리에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하는 구성이다.
이를 위해, 객체 추출부(300)는 영상 촬영부(100)로부터 전송된 영상정보를 저장하고 영상인식 프로그램이 저장된 휘발성 메모리(volatile storage)를 포함하여 구성될 수 있다.
그리고 객체 추출부(300)는 생성된 객체정보를 영상 저장부(200)나 휘발성 메모리에 저장한다. 이를 위해, 객체 추출부(300)는 영상 저장부(200)에 통신 네트워크를 통해 연결될 수 있다.
일 실시 양태로서, 본 발명에 따른 객체 추출부(300)는 영상 저장부(200)나 휘발성 메모리에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 객체 이미지를 추출하고, 상기 객체 이미지에 좌표 및 촬영시간이 부가된 객체정보를 생성하며, 상기 객체정보를 영상 저장부(200)나 휘발성 메모리에 저장한다.
다른 실시 양태로서, 본 발명에 따른 객체 추출부(300)는 객체 이미지를 추출하지 않고도 영상 저장부(200)나 휘발성 메모리에 저장된 영상정보를 기반으로 객체 이미지에 대한 영상인식을 수행한다. 보다 구체적으로, 객체 추출부(300)는 영상 저장부(200)나 휘발성 메모리에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 테두리를 따라 객체의 외부에 직사각형의 외곽선을 생성하고, 상기 외곽선의 각 꼭지점에 대한 좌표를 추출하며, 상기 외곽선의 꼭지점 좌표 및 촬영시간이 부가된 객체정보를 생성하며, 상기 객체정보를 영상 저장부(200)나 휘발성 메모리에 저장한다.
상기 객체 추출부(300)는 객체의 외곽선만으로 구성된 객체 이미지를 추출할 수도 있고, 객체의 외곽선 및 외곽선 내의 이미지로 구성된 객체 이미지를 추출할 수도 있다. 이때, 외곽선 내의 이미지가 포함된 객체 이미지를 추출하면 추후 안면인식 기능을 사용해 신원조회 또는 특정인에 대한 출입통제 기능을 제공할 수 있다.
상기 객체 추출부(300)는 영상정보에서 객체를 감싸는 외곽선의 가로/세로의 비율을 분석하여 외곽선의 종횡비를 산출하고, 상기 종횡비를 객체정보에 부가할 수 있다. 이때, 객체가 팔을 뻗는 경우 종횡비가 변경되므로 팔 부분을 비교 대상에서 제외할 수도 있으며, 객체가 앉거나 눕는 등 자세가 바뀌면 종횡비가 달라지므로, 객체 추출부(300)는 서 있는 객체를 감싸는 외곽선의 가로/세로의 비율을 분석하여 종횡비를 생성할 수 있다.
상기 객체 추출부(300)는 자체 구비된 휘발성 메모리에 설치된 영상인식 프로그램을 사용할 수도 있고, 영상 저장부(200)에 설치된 영상인식 프로그램을 사용할 수도 있다.
도 2 및 도 3은 본 발명에 따른 객체 추적시스템을 통해 출력된 영상에 표시된 객체의 외곽선 사진의 일 실시예이다. 도 2 및 도 3에 도시된 바와 같이, 상기 객체 추출부(300)는 객체 이미지로부터 객체의 외곽선을 추출하고, 영상정보에 상기 외곽선이 병합된 추적용 영상정보를 생성하여 영상 저장부(200)나 자체 구비된 휘발성 메모리에 저장할 수 있다. 이때, 상기 객체의 외곽선은 도 2와 같이 객체 이미지의 테두리 부분이거나 도 3과 같이 객체 이미지를 감싸는 사각형으로 형성될 수 있다.
예를 들면, 객체 추출부(300)는 관리자의 선택에 따라 영상 저장부(200)나 휘발성 메모리에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 객체영상을 직사각형으로 추출하도록 구성될 수 있다. 이때, 상기 직사각형은 전술한 외곽선으로 형성될 수 있다.
또한, 객체영상에서 객체를 감싸는 사각형 중 객체를 제외한 부분은 검정색, 흰색 등의 무채색으로 구성될 수 있다. 이와 같이, 객체를 감싸는 사각형이 무채색이면 움직임이 포착된 영역의 픽셀(pixel)만 컬러 값이 존재하므로, 픽셀들의 R, G, B 각각에 대한 컬러 분포도를 분석할 수 있다. 이때, 컬러 분포도의 분석은 기조색(dominant color) 또는 기조색상(dominant hue)의 분석을 통해 이루어질 수 있다.
다시 말해, 관리자가 선택한 객체의 컬러 값과 비교하여 객체영상에 포함된 물체가 지정된 오차 범위 이내인 경우에 객체로 판단하고, 이의 종류를 구분한다.
보다 구체적으로, 객체 추출부(300)는 영상인식 프로그램을 통해 영상정보로부터 추출된 객체 이미지의 종류를 사람, 자동차, 오토바이, 자전거, 동물 중 어느 하나로 구분할 수 있다. 그리고 객체 추출부(300)는 객체 종류가 지정된 객체 종류정보가 더 포함된 객체정보를 생성할 수 있다. 또한, 객체 추출부(300)는 종류 구분의 정확도가 향상되도록 딥러닝(deep learning) 기술을 접목하여 추적 대상의 종류를 구분할 수도 있다.
아울러, 객체 추출부(300)는 객체 종류나 좌표, 또는 촬영시간 따라 객체정보가 분류된 객체정보 리스트를 생성하고, 상기 객체정보 리스트를 영상 저장부(200)나 휘발성 메모리에 저장할 수 있다. 이는, 관리자가 직접 감시영역의 영상정보를 시청하지 않더라도 확인하고자 하는 객체를 종류별로 선택할 수 있도록 하기 위함이다.
이러한 객체 추출부(300)로는 영상인식 프로그램이 설치된 서버를 사용하거나, 영상인식 프로그램이 설치된 PC를 사용할 수 있다.
특정 양태로서, 본 발명에 따른 객체 추출부(300)는 영상 촬영부(100)로부터 수신된 영상정보를 분석하고, 감시영역에 진입한 객체를 검출하여 타겟으로 지정한다. 그리고 객체 추출부(300)는 타겟으로 지정된 객체의 실시간 좌표값을 분석하며, 상기 좌표값에 대등된 클로즈업 정보를 영상 저장부(200)나 휘발성 메모리로부터 추출한다.
보다 구체적으로, 객체 추출부(300)는 영상정보를 분석하여 외부에서 감시영역에 들어온 객체가 있는지를 탐지한다. 그리고 객체 추출부(300)는 감시영역으로 들어온 객체를 타겟으로 지정하여 추적하고, 상기 객체의 특징을 추출하여 버퍼(buffer)나 레지스터(register)에 임시로 저장하며, 영상정보를 통해 상기 객체의 좌표값을 분석한다.
필요에 따라, 객체 추출부(300)는 영상정보를 분석하여 객체가 추적 대상에 해당하는지를 판단한다. 예컨대, 타겟으로 지정된 객체가 갑자기 회전을 하거나 다른 물체에 의해 가려졌다가 다시 나타날 경우, 기존 객체와 동일하거나 유사한 좌표값에 위치한 임의의 제1 물체와 미리 추출한 객체의 특징을 비교하여, 추적하고 있는 제1 물체가 추적 대상의 객체에 해당하는지를 판단한다. 만약, 상기 제1 물체가 추적 대상으로 지정된 객체와 다른 것으로 판단되면, 기존 객체가 위치했던 좌표에 2번째로 가까운 제2 물체를 탐지하여, 제2 물체가 추적 대상의 객체에 해당하는지를 판단한다.
아울러, 객체 추출부(300)는 객체의 움직임을 추적한다. 이러한 객체는 이동할 수 있기 때문에, 객체 추출부(300)는 객체의 위치 이동을 추적하여 객체의 좌표값을 실시간으로 분석한다.
또한, 객체 추출부(300)는 객체가 감시영역을 벗어나거나 객체가 설정된 시간동안 이동하지 않고 정지되어 있으면, 상기 객체에 대한 클로즈업 정보의 추출을 종료한 후, 영상정보를 통해 새로 검출된 객체의 클로즈업 정보를 영상 저장부(200)나 휘발성 메모리로부터 추출한다. 이때, 객체 추출부(300)는 영상 촬영부(100)가 초기 위치로 회동과정 중에 생성한 영상정보를 분석하여 감시영역으로 진입한 객체 중 영상정보를 통해 최초로 검출된 객체를 확대영상을 생성하는 새로운 타겟으로 지정한다.
이와 같이 타겟으로 지정된 객체에 대한 클로즈업 정보의 추출이 종료되면, 객체 추출부(300)는 영상 촬영부(100)가 기준 감시영역을 촬영할 수 있도록 영상 촬영부(100)의 회동신호를 생성하여 영상 촬영부(100)로 제공한다.
그리고 후술하는 사용자 인터페이스를 통해 확대영상의 촬영 시간이 입력되면, 객체 추출부(300)는 객체에 대한 확대영상을 설정된 시간동안 촬영한 후 초기 위치로 회동하도록 영상 촬영부(100)를 제어하는 회동신호를 생성하여 영상 촬영부(100)로 제공한다.
한편, 객체 추출부(300)는 영상정보를 이용하여 객체와 주변사물을 구별하기 위해 객체인식 데이터테이블 및 주변사물 데이터테이블을 포함할 수 있다.
상기 객체인식 데이터테이블은 객체를 구분할 수 있도록 하기 위해 객체의 형상감지, 생체인식, 좌표인식에 대한 설정데이터가 각각 저장되어 구성된다. 이때, 상기 형상감지에 대한 설정데이터는 움직임이 발생하는 대상인 자동차나 오토바이 형상을 복합적인 도형의 형태, 특히, 차량의 번호판 등을 인식하도록 하기 위한 설정데이터이다. 또한, 생체인식에 대한 설정데이터는 인체, 특히 인체의 얼굴의 특징을 기준으로 눈, 코, 입 등을 인식하도록 하기 위한 설정데이터이다.
상기 주변사물 데이터테이블은 객체 추출부(300)에서 주변사물을 구분할 수 있도록 하기 위해 주변사물의 지리정보, 형상감지, 좌표인식에 대한 설정데이터가 각각 저장되어 구성된다. 이때, 상기 주변사물의 지리정보에 대한 설정데이터는 미리 설정된 지역의 지형, 지물 등에 대한 설정데이터이며, 형상감지에 대한 설정데이터는 전술한 객체인식 데이터테이블의 형상감지에 대한 설정데이터와 대응된다.
특히, 공통적으로 인식되어야 하는 좌표인식에 대한 설정데이터는 영상 촬영부(100)에 의해 생성된 영상정보를 통해 가상의 공간좌표 또는 지리정보와 연동하여 지역의 좌표 등에 의해 객체와 주변사물의 지점 특히 이동 위치를 파악할 수 있도록 한다.
또한, 객체 추출부(300)는 감시영역으로 진입한 객체의 좌표값에 따라 객체의 확대영상을 촬영할 수 있도록 상기 좌표값에 따라 미리 지정된 클로즈업 정보를 추출한다. 여기서, 클로즈업 정보는 좌표값에 따라 영상 촬영부(100)의 팬과 틸즈 및 줌이 미리 설정된 값으로 제어되도록 지정된 제어신호이다.
아울러, 객체 추출부(300)는 영상정보를 분석하여 객체의 종류를 지정하고, 객체의 종류에 따라 영상 촬영부(100)의 줌인 위치가 달라지도록 클로즈업 정보를 변경할 수 있다. 예컨대, 객체의 외형이 사람으로 분석되면 객체 추출부(300)는 사람의 전신모습에서 얼굴이 클로즈업으로 줌인 되도록 클로즈업 정보를 변경한다. 그리고 영상정보를 통해 객체의 외형이 차량으로 분석되면 객체 추출부(300)는 차량의 번호판에 대한 확대영상을 촬영할 수 있도록 클로즈업 정보를 변경한다.
이와 같이, 객체 추출부(300)는 추후 객체를 추적하는데 가장 적합한 요소(얼굴, 번호판)를 대상으로 확대영상이 촬영되도록 클로즈업 정보를 수정할 수 있다.
필요에 따라, 객체 추출부(300)는 영상정보를 분석하여 객체가 감시영역을 벗어난 것으로 판독되면, 해당 객체의 종류가 미리 지정된 종류에 해당되지 않는 경우 객체의 영상정보를 삭제할 수 있다. 이는, 동물 등 보안 확인에 불필요한 객체가 감시영역에 진입한 경우에 이 객체에 대한 영상정보를 삭제함으로써, 영상 저장부(200)에 저장되는 영상정보의 용량을 최소화시키기 위함이다.
또한, 객체 추출부(300)는 타겟으로 지정된 제1 객체의 클로즈업 정보를 추출하는 도중에 감시영역에 진입한 제2 객체의 존재가 검출되더라도 제1 객체가 감시영역을 벗어날 때 까지 제1 객체의 클로즈업 정보를 추출하도록 구성될 수 있다.
그리고 객체 추출부(300)는 감시영역 내에 위치한 객체 중 타겟으로 지정된 객체 이외의 객체에 대한 타겟 변경신호가 사용자 인터페이스를 통해 입력되면, 타겟으로 지정된 객체의 클로즈업 정보 추출을 정지하고, 타겟 변경신호가 입력된 새로운 객체의 클로즈업 정보를 추출한다. 이를 통해, 영상 촬영부(100)는 타겟으로 지정되었던 객체의 확대영상에 대한 영상정보를 생성하다가, 새로운 객체의 확대영상에 대한 영상정보를 생성하게 된다. 이와 같이, 확대영상을 촬영하는 객체는 사용자 인터페이스를 통해 관리자에 의해 선택될 수 있다.
이러한 객체 추출부(300)로는 영상인식 프로그램이 설치된 서버를 사용하거나, 영상인식 프로그램이 설치된 PC를 사용할 수 있다.
도 4 및 도 5는 본 발명에 따른 추적시스템을 통해 출력되는 객체의 영상을 나타내는 예시도이다.
도 1을 참조하면, 본 발명에 따른 객체 추적시스템은 영상 출력부(500)를 더 포함할 수 있다.
상기 영상 출력부(500)는 각 영상 촬영부(100)로부터 제공된 영상정보나 상기 영상 저장부(200)에 저장된 영상정보를 관리자가 확인할 수 있도록 영상으로 출력하는 것으로, 이를 위해 각 영상 촬영부(100)와 통신 네트워크를 통해 연결되거나 영상 저장부(200)나 객체 추출부(300)와 통신 네트워크를 통해 연결된다.
필요에 따라, 영상 출력부(500)는 객체 추적부(400)가 영상정보에 외곽선이 병합된 추적용 영상정보를 생성한 경우, 관리자의 요청에 따라 상기 추적용 영상정보를 영상으로 출력할 수도 있다.
이러한 영상 출력부(500)는 단일 모니터, 다중 모니터, 가상현실 디바이스, 증강현실 디바이스 중 어느 하나를 사용할 수 있다.
또한, 영상 출력부(500)는 도 4와 같이 기본적으로 각 영상 촬영부(100)로부터 제공된 영상정보를 바둑판 배열과 같이 독립적으로 출력하다가, 관리자의 요청에 따라 도 5와 같이 관리구역의 2D 도면 또는 3D 도면상에서 각 영상 촬영부(100)로부터 제공된 영상정보가 미리 지정된 위치에서 오버랩된 전체영상을 출력할 수 있다. 이때, 관리구역이 특정 건물인 경우에 2D 도면 또는 3D 도면은 건물 내부의 2D 도면 또는 3D 도면이다.
아울러, 영상 출력부(500)는 도 5에 도시된 바와 같이 관리자의 요청에 따라 객체의 이동경로나 예상도주경로가 표시된 관리구역의 2D 도면 또는 3D 도면을 출력할 수 있다.
본 발명에 따른 객체 추적시스템은 사용자 인터페이스(미도시)를 더 포함할 수 있다.
상기 사용자 인터페이스는 영상 출력부(500)로 출력된 영상 내에 존재하는 객체를 선택받아 객체의 선택신호를 생성하는 것으로, 마우스나 키보드 또는 터치패드 등이 사용될 수 있다.
여기서, 객체의 선택은 추적하고자 하는 객체를 관리자로부터 지정받는 것으로, 사용자 인터페이스를 통해 관리자로부터 설정받을 수 있다. 구체적으로, 상기 영상 출력부(500)가 영상정보를 영상으로 출력하면, 관리자는 추적하고자 하는 대상으로 영상에서 객체의 실제 이미지가 존재하는 외곽선의 내부 영역을 선택하거나, 또는 객체정보 리스트에 포함된 객체를 선택할 수 있다.
또한, 사용자 인터페이스는 생성된 객체의 선택신호를 통신 네트워크를 통해 연결된 객체 추적부(400)로 제공할 수 있다.
아울러, 사용자 인터페이스는 임의의 제1 객체가 감시영역을 벗어나기 전에 제1 객체 대신 감시영역에 위치한 제2 객체를 추적할 수 있도록 제2 객체의 타겟 변경신호를 관리자로부터 입력받아 객체 추출부(300)로 제공할 수 있다
도 1을 참조하면, 본 발명에 따른 객체 추적시스템은 객체 추적부(400)를 포함한다.
상기 객체 추적부(400)는 감시영역으로 진입한 객체의 이동경로를 추적하는 것으로, 각 객체 이미지를 비교 분석하여 동일한 객체 이미지가 포함된 객체정보를 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리로부터 추출하고, 상기 영상 저장부(200)로부터 추출된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적한다.
상기 객체 추적부(400)는 영상 저장부(200)에 객체정보가 저장된 객체 중 관리자에게 선택된 객체의 제1 객체 이미지에 대한 컬러 분포도를 분석하고, 영상 저장부에 저장된 객체정보 중 상기 제1 객체와 일치도가 미리 지정된 수치범위인 제2 객체가 포함된 객체정보를 동일 후보군으로 선별한다. 이때, 미리 지정된 수치범위는 50% 내지 100%인 것이 바람직하다. 이러한 일치도가 50% 미만으로 설정되면 서로 다른 객체가 동일한 객체로 지정되는 문제가 발생될 수 있다.
제1 실시 양태로서, 본 발명에 따른 객체 추적부(400)는 상기 동일 후보군 중 감시영역별로 제1 객체와 일치도가 가장 높은 제2 객체의 객체 이미지가 포함된 객체정보를 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리로부터 추출한다.
제2 실시 양태로서, 본 발명에 따른 객체 추적부(400)는 상기 동일 후보군 중 감시영역별로 제1 객체와 종횡비가 가장 높은 제2 객체의 제2 객체 이미지가 포함된 객체정보를 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리로부터 추출한다.
상기 컬러 분포도는 객체 이미지의 각 픽셀의 컬러 분포도, 객체 이미지의 각 라인별 컬러 분포도, 객체 이미지 전체의 평균 컬러 분포도, 분획된 객체 이미지 각 영역의 컬러 분포도로 이루어진 군으로부터 선택된 어느 하나인 것이 바람직하다.
구체적으로, 객체 이미지의 각 픽셀에 대한 컬러 분포도는 객체 이미지 각 픽셀의 RGB 또는 Hue 값을 비교하는 방법을 통해 결정되고, 객체 이미지의 각 라인별 컬러 분포도는 지배적인(dominant) 컬러에 대한 RGB 또는 Hue 값을 비교하는 방법을 통해 결정된다. 그리고 객체 이미지 전체의 평균 컬러 분포도는 객체 이미지 전체의 지배적인 컬러에 대한 RGB 또는 Hue 값을 비교하는 방법을 통해 결정되며, 분획된 객체 이미지 각 영역의 컬러 분포도는 객체 이미지를 상/하 또는 상/중/하로 나누어 각 영역의 지배적인 컬러에 대한 RGB 또는 Hue 값을 비교하는 방법을 통해 결정된다.
상기 객체 추적부(400)는 관리자에게 선택된 제1 객체와 이미지의 비교 분석을 통해 선별된 객체 이미지를 동일 후보군으로 지정하고, 동일 후보군의 객체 이미지에 대한 꼭지점의 좌표와 영상 저장부에 저장된 3D 도면을 분석하여 객체 이미지에 대한 3D 도면상의 위치좌표를 검출하며, 동일 후보군의 객체 이미지가 추출된 영상정보 상에서 객체의 위치좌표 및 촬영시간의 변화를 분석하여 객체의 이동속도를 검출할 수 있다.
제3 실시 양태로서, 본 발명에 따른 객체 추적부(400)는 동일 후보군 중 검출된 이동속도의 증감률이 0 내지 10%인 객체 이미지가 포함된 객체정보를 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리로부터 추출하며, 추출된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적할 수 있다.
제4 실시 양태로서, 본 발명에 따른 객체 추적부(400)는 제1 객체 이미지가 추출된 영상정보 상에서 제1 객체의 위치좌표 및 촬영시간의 변화를 분석하여 제1 객체의 이동속도를 검출하고, 상기 제1 객체의 이동속도를 기반으로 시간별 이동가능거리를 계산하며, 상기 동일 후보군의 객체 이미지 중 이동가능거리 상에 위치한 제2 객체 이미지가 포함된 객체정보를 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리로부터 추출하며, 추출된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적할 수 있다.
한편, 본 발명에 따른 객체 추적부(400)는 영상 출력부(500)를 통해 출력된 영상 중 관리자에 의해 선택된 객체의 이동경로를 추적하며, 관리자에 의해 선택된 객체의 이동경로를 분석하여 도면에 이동경로를 표시하도록 구성될 수도 있다.
구체적으로, 객체 추적부(400)는 영상 출력부(500)를 통해 출력된 영상에 포함된 객체의 선택신호가 수신됨에 따라 선택된 객체의 객체 이미지를 기반으로 선택된 객체의 객체 이미지가 포함된 객체정보를 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리로부터 추출한다. 그리고 객체 추적부(400)는 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리로부터 추출된 객체정보의 좌표 및 촬영시간을 분석하여 영상 저장부(200)에 저장된 도면에 객체의 이동경로를 표시한다.
이를 위해, 객체 추적부(400)는 선택된 객체의 이미지와 동일한 객체 이미지가 포함된 객체정보를 추출하고, 상기 객체정보에 부가된 좌표 및 촬영시간을 분석하여 객체의 이동경로를 관리자에 의해 선택된 도면에 표시하는 객체추적 프로그램을 사용한다. 이러한 객체추적 프로그램은 객체 추적부(400)에 자체 구비된 메모리에 설치되거나, 영상 저장부(200)에 설치될 수 있다.
보다 구체적으로, 객체 추적부(400)는 객체정보의 좌표 및 촬영시간을 분석하여 각 좌표가 연결된 객체의 이동경로 이미지를 생성하고, 상기 이동경로 이미지를 관리자가 선택한 2D 도면 또는 3D에 병합하며, 상기 이동경로 이미지가 표시된 도면을 영상 출력부(500)를 통해 출력한다.
이때, 객체 추적부(400)가 관리자에 의해 선택된 객체 이미지와 동일한 객체 이미지가 포함된 객체정보를 추출하는 방법은 아래의 방법을 단독 또는 복합적으로 사용할 수 있다.
첫 번째로, 객체추적 프로그램의 안면인식 기능을 통해 얼굴만 비교하여 객체 이미지와 동일한 얼굴이 포함된 객체정보를 추출한다.
두 번째로, 외곽선 내부영역의 픽셀(pixel)들의 R, G, B 각각에 대한 분포도를 비교하여, 지정된 오차 범위 이내이면 동일한 물체로 판단하는 방식으로 객체 이미지와 동일한 객체 이미지가 포함된 객체정보를 추출한다.
세 번째로, 동일한 배율로 촬영된 영상의 외곽선 크기를 비교하여, 지정된 오차 범위 이내이면 동일한 물체로 판단하는 방식으로 객체 이미지와 동일한 객체 이미지가 포함된 객체정보를 추출한다.
상기 객체 추적부(400)는 관리자가 추적하고자 하는 객체를 관리자가 영상에서 손쉽게 구분할 수 있도록 관리자에 의해 선택된 객체와 동일하다고 판단된 객체에 동일한 색상의 외곽선을 부여할 수 있다.
이를 위해, 객체 추적부(400)는 추적용 영상정보의 영상에 포함된 객체의 선택신호가 수신되면, 선택된 객체의 외곽선을 기반으로 동일한 크기의 외곽선이 포함된 객체정보를 검색하여 추출한다. 또한, 객체 추적부(400)는 객체의 선택신호와 매칭된 객체의 외곽선에 제1 색상을 부여하고, 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리에 저장된 추적용 영상정보 중 상기 제1 색상이 부여된 객체와 동일한 객체의 외곽선에 제1 색상을 부여한다.
상기 객체 추적부(400)는 상기 객체의 선택신호가 수신된 영상에서 객체가 사라지면, 상기 영상 저장부(200)에 저장된 도면을 사용하여 선택된 객체가 이동 가능한 예측경로를 검출하고, 상기 예측경로 상에 설치된 영상 촬영부(100)로부터 전송된 영상정보로부터 추출된 객체 이미지를 관리자가 선택한 객체 이미지와 우선적으로 비교하여 객체정보를 생성할 수 있다.
특정 양태로서, 본 발명에 따른 객체 추적부(400)는 각 감시영역에 따라 조명이 다르거나 영상 촬영부의 각도에 따라 신체의 비율이 다를 수 있으므로, 딥러닝을 이용하여 AI 신경망 모델을 학습시키는 과정에서 상기 영상 저장부에 저장된 제1 영상 촬영부의 영상정보로 AI 신경망 모델을 학습시킨 후, 상기 영상 저장부에 저장된 제2 영상 촬영부의 영상정보로 동일인 여부를 판단하는 모델을 학습시키는 과정을 반복하는 전이 학습(transfer learning) 기법을 적용할 수 있다.
상기 전이 학습 기법 적용 시, 먼저 사물의 종류(사람, 개, 고양이, 자동차 등)를 구분하기 위한 Classifying 신경망 모델 A를 학습시켜서 사람에 대한 인식률이 가장 높은 모델을 확보하고, 이를 다시 동일인을 판단하기 위한 신경망 모델 B를 학습시키는데 사용함으로써 그 정확도를 높일 수 있다.
이러한 딥러닝은 영상 촬영부(100)가 획득한 영상정보에서 사람, 자동차, 동물 등을 분류하거나, 사람만을 찾아내도록 학습시킬 수도 있고, 추출된 객체 이미지 중에서 동일한 객체를 찾아내는 목적으로도 학습시킬 수 있다. 그리고 영상정보에서 사람을 찾아내는 학습은 영상 촬영부 a와 b 등 다양한 사람들의 객체영상을 사용하고, 동일한 객체를 찾아내는 학습은 다양한 영상정보들을 사용하되, 영상 촬영부 a에 출현했던 특정 객체가 영상 촬영부 b의 여러 영상들 중에 반드시 포함되어 있어야 딥러닝 결과의 정확도를 판단할 수 있다.
본 발명에 따른 객체 추적시스템은 제어부(미도시)를 더 포함할 수 있다.
상기 제어부는 객체 추출부(300)로부터 추출된 클로즈업 정보에 따라 영상 촬영부(100)의 동작을 제어하며, 영상 촬영부(100)로부터 영상정보를 수신받아 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리에 저장하는 것으로, 영상 촬영부(100)와 영상 저장부(200)와 객체 추출부(300)와 영상 출력부(500)와 객체 추적부(400) 및 사용자 인터페이스에 연결된다.
보다 구체적으로, 상기 제어부는 객체 추출부(300)로부터 제공된 클로즈업 정보를 기반으로 제어신호를 생성하고, 상기 제어신호를 통신 네트워크를 통해 영상 촬영부(100)로 제공하여 감시영역 내부에서 이동하는 객체에 대한 확대영상을 촬영하도록 영상 촬영부(100)를 제어한다. 그리고 제어부는 영상 촬영부(100)로부터 타겟으로 지정된 객체의 영상정보가 전송되면, 이를 영상 저장부(200)나 객체 추출부(300)의 휘발성 메모리에 저장한다.
또한, 제어부는 사용자 인터페이스를 통해 타겟 변경신호가 입력되면 이를 객체 추출부(300)로 제공하고, 객체의 선택신호가 입력되면 이를 객체 추적부(400)로 제공한다.
아울러, 제어부는 객체 추출부(300)로부터 회동신호가 전송되면 영상 촬영부(100)가 초기 위치로 회동되도록 영상 촬영부(100)를 제어한다.
도 6은 본 발명의 다른 실시예에 따른 추적시스템을 설명하기 위한 구성도이다.
도 6을 참조하면, 본 발명에 따른 객체 추적시스템은 사용자 단말기(600)와 증강현실부(700)를 더 포함할 수 있다.
상기 사용자 단말기(600)는 구조물에 의해 시야가 차단되더라도 사용자가 시야가 차단된 이웃 공간의 영상을 확인할 수 있도록 이웃 공간의 영상을 화면을 통해 출력하는 증강현실앱이 설치된 것으로, 증강현실부(700)에 통신 네트워크를 통해 연결된다.
구체적으로, 증강현실앱은 사용자 단말기(600)에 구비된 카메라모듈로부터 감시영역에 인접한 구조물 영상이 수집되면 감시영역 위치정보에 인접한 구조물 위치정보가 부가된 구조물 영상정보를 생성한다. 그리고 증강현실앱은 상기 구조물 위치정보를 통신 네트워크를 통해 외부, 예컨데 증강현실부(700)로 송신하며, 상기 구조물 위치정보에 인접한 감시영역의 영상정보를 수신받아 구조물 영상정보에 오버랩하여 출력한다.
필요에 따라, 증강현실앱은 감시영역의 영상정보와 오버랩 되는 구조물 영상정보의 투명도를 사용자로부터 입력된 제어신호에 따라 조절하도록 구성될 수 있다. 예를 들면, 사용자가 사용자 단말기(600)의 증강현실앱에 구조물 영상정보의 투명도를 100%로 입력하면, 증강현실앱은 구조물 영상정보를 제외한 감시영역의 영상정보만 출력되도록 구조물 영상정보의 투명도를 제어한다. 그리고 사용자가 구조물 영상정보의 투명도를 50%로 입력하면, 증강현실앱은 구조물 영상정보가 반투명한 상태로 감시영역의 영상정보와 함께 출력되도록 구조물 영상정보의 투명도를 제어한다.
상기 증강현실부(700)는 사용자의 시야가 차단된 이웃 공간의 영상을 사용자 단말기(600)로 제공하는 것으로, 이를 위해 사용자 단말기(600)와 통신 네트워크를 통해 연결된다.
보다 구체적으로, 증강현실부(700)는 사용자 단말기(600)로부터 전송된 구조물 위치정보와 매칭된 제1 감시영역 위치정보를 검색하여 상기 제1 감시영역 위치정보가 부가된 감시영역의 영상정보를 영상 저장부로부터 검출하고, 검출된 영상정보를 통신 네트워크를 통해 사용자 단말기(600)로 전송한다.
도 7은 본 발명에 따른 사용자 단말기가 위치한 구조물을 나타내는 평면도이고, 도 8 및 도 9는 본 발명에 따른 사용자 단말기를 통해 출력되는 화면을 나타내는 화면이다.
도 7 내지 도 9를 참조하면, 본 발명에 따른 사용자 단말기(600)를 소지한 관찰자(X)가 화살표 방향으로 벽을 바라보고 있는 경우, 관찰자(X)는 닫혀진 공간(방) 상에 위치하고 있으므로, 닫혀진 공간의 벽 너머에 위치한 객체 A와 객체 B를 확인할 수 없다.
그러나, 관찰자(X)가 사용자 단말기(600)를 통해 벽면에 대한 제1 구조물 위치정보를 통신 네트워크를 통해 증강현실부(700)로 송신하면, 증강현실부(700)는 사용자 단말기(600)로부터 전송된 제1 구조물 위치정보와 매칭된 제1 감시영역 위치정보를 검색하여 상기 제1 감시영역 위치정보가 부가된 감시영역의 제1 영상정보를 영상 저장부로부터 검출하고, 상기 제1 영상정보에 포함된 객체 A와 객체 B의 객체영상을 분리한 후 상기 객체영상을 통신 네트워크를 통해 사용자 단말기(600)로 전송한다. 이어서, 관찰자(X)가 소유한 사용자 단말기(600)는 객체 A와 객체 B의 객체영상을 수신받아 구조물 영상정보에 오버랩하여 출력한다.
이와 같이, 본 발명은 증강현실부(700)가 구조물 위치정보에 인접한 감시영역에 위치한 객체 A와 객체 B의 3D 공간상의 위치와 크기를 확인할 수 있기 때문에 관찰자(X)에 상대적인 객체 A,B의 위치를 알 수 있으므로, 구조물 위치정보를 생성한 벽면과 매칭된 객체 A,B의 객체영상을 관찰자(X)에게 보여줄 수 있다.
이 경우, 관찰자(X)가 사용자 단말기(600)를 통해 사용자가 구조물 영상정보의 투명도를 50%로 입력하면 도 8과 같이 벽면이 반투명한 상태가 되어 객체 A, B의 영상이 벽면의 영상과 함께 출력된다. 그리고 관찰자(X)가 사용자 단말기(600)를 통해 사용자가 구조물 영상정보의 투명도를 0%로 입력하면 도 9와 같이 벽면이 불투명한 상태가 되어 객체 A, B의 영상을 볼 수 없게 된다.
본 발명에 따른 객체 추적시스템은 객체행동 예측부(미도시)를 더 포함할 수 있다.
상기 객체행동 예측부는 객체 추적부(400)에 의해 추출된 동일한 객체 이미지가 포함된 객체정보, 범죄자의 행동패턴정보, 및 건물 내 충입문과 창문의 위치정보를 기계 학습 또는 데이터 마이닝 알고리즘으로 분석하여 객체의 도주경로정보를 생성하는 것으로, 사용자가 주변에 위치한 침입자를 인지할 수 있도록 객체의 도주경로 상에 위치한 사용자 단말기에 상기 도주경로정보를 전송한다.
필요에 따라, 객체행동 예측부는 객체정보, 범죄자의 행동패턴정보, 건물 내 충입문과 창문의 위치정보, 및 건물 내에 입점한 사업장 정보를 기계 학습 또는 데이터 마이닝 알고리즘으로 분석하여 객체의 도주경로정보를 생성할 수도 있다.
이러한 객체행동 예측부는 동일한 객체 이미지가 포함된 복수의 객체정보를 자동적으로 통계적 규칙이나 패턴을 찾아 객체의 도주경로를 분석한다.
구체적으로, 객체행동 예측부는 일정한 집단에 대한 특정 정의를 통해 분류 및 구분을 추론하는 분류(Classification), 구체적인 특성을 공유하는 군집을 찾는 군집화(Clustering), 동시에 발생한 사건간의 관계를 정의하는 연관성(Association), 특정 기간에 걸쳐 발생하는 관계를 규명하는 연속성(Sequencing) 및 대용량 데이터집합 내의 패턴을 기반으로 미래를 예측하는 예측(Forecasting)에 의해서 객체의 도주경로를 분석할 수 있다.
이상에서 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (24)

  1. 감시영역을 촬영하여 영상정보를 획득하는 복수개의 영상 촬영부;
    상기 영상 촬영부로부터 전송된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하는 객체 추출부; 및
    상기 객체정보를 통해 각 객체의 이미지를 비교 분석하여 동일한 객체 이미지가 포함된 객체정보를 선정하고, 선정된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적하는 객체 추적부를 포함하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  2. 제1 항에 있어서, 상기 객체 추출부는
    상기 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 테두리를 따라 객체의 외부에 직사각형의 외곽선을 생성하고, 상기 외곽선의 각 꼭지점에 대한 좌표를 추출하며, 상기 외곽선의 꼭지점 좌표 및 촬영시간이 부가된 객체정보를 생성하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  3. 제1 항에 있어서, 상기 객체 추적부는
    상기 객체정보가 저장된 객체 중 관리자에게 선택된 객체의 제1 객체 이미지에 대한 컬러 분포도를 분석하고, 상기 객체정보 중 상기 제1 객체와 일치도가 50% 내지 100%인 제2 객체가 포함된 객체정보를 동일 후보군으로 선별하며, 감시영역별로 제1 객체와 일치도가 가장 높은 제2 객체의 제2 객체 이미지가 포함된 객체정보를 추출하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  4. 제3 항에 있어서, 상기 컬러 분포도는
    기조색 분포도 또는 기조색상 분포도인 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  5. 제3 항에 있어서, 상기 컬러 분포도는
    객체 이미지의 각 픽셀의 컬러 분포도, 객체 이미지의 각 라인별 컬러 분포도, 객체 이미지 전체의 평균 컬러 분포도, 분획된 객체 이미지 각 영역의 컬러 분포도로 이루어진 군으로부터 선택된 어느 하나인 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  6. 제1 항에 있어서,
    상기 객체 추출부는 상기 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 테두리를 따라 객체의 외부에 직사각형의 외곽선을 생성하고, 상기 외괵선의 가로 및 세로의 크기를 분석하여 종횡비를 산출하고, 상기 종횡비를 객체정보에 부가하며,
    상기 객체 추적부는 상기 객체정보가 저장된 객체 중 관리자에게 선택된 객체의 제1 객체 이미지에 대한 컬러 분포도를 분석하고, 상기 객체정보 중 상기 제1 객체와 일치도가 50% 내지 100%인 제2 객체가 포함된 객체정보를 동일 후보군으로 선별하며, 감시영역별로 제1 객체와 상기 종횡비가 가장 높은 제2 객체의 제2 객체 이미지가 포함된 객체정보를 추출하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  7. 제6 항에 있어서, 상기 객체 추출부는
    서 있는 객체를 감싸는 외곽선의 가로/세로의 비율을 분석하여 종횡비를 생성하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  8. 제1 항에 있어서, 상기 객체 추출부는
    각 영상 촬영부로부터 전송된 영상정보를 저장하고, 상기 객체정보를 저장하는 휘발성 메모리를 포함하여 구성된 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  9. 제1 항에 있어서,
    각 영상 촬영부로부터 전송된 영상정보를 저장하는 영상 저장부를 더 포함하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  10. 제9 항에 있어서, 상기 객체 추출부는
    상기 영상 저장부에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하고, 상기 객체정보를 영상 저장부에 저장하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  11. 제9 항에 있어서, 상기 객체 추출부는
    상기 영상 저장부에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 객체 이미지를 추출하고, 상기 객체 이미지에 좌표 및 촬영시간이 부가된 객체정보를 생성하며, 상기 객체정보를 영상 저장부에 저장하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  12. 제9 항에 있어서,
    상기 영상 저장부는 복수개의 영상 촬영부가 설치된 공간의 3D 도면이 저장되며,
    상기 객체 추출부는 상기 영상 저장부에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 테두리를 따라 객체의 외부에 직사각형의 외곽선을 생성하며, 상기 외곽선 내부의 객체 이미지를 추출하고, 외곽선의 각 꼭지점에 대한 좌표를 추출하며, 상기 좌표 및 촬영시간이 부가된 객체정보를 생성하고,
    상기 객체 추적부는 관리자에게 선택된 제1 객체와 이미지의 비교 분석을 통해 선별된 객체 이미지를 동일 후보군으로 지정하고, 동일 후보군의 객체 이미지에 대한 꼭지점의 좌표와 영상 저장부에 저장된 3D 도면을 분석하여 객체 이미지에 대한 3D 도면상의 위치좌표를 검출하며, 동일 후보군의 객체 이미지가 추출된 영상정보 상에서 객체의 위치좌표 및 촬영시간의 변화를 분석하여 객체의 이동속도를 검출하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  13. 제12 항에 있어서, 상기 객체 추적부는
    동일 후보군 중 검출된 이동속도의 증감률이 0 내지 10%인 객체 이미지가 포함된 객체정보를 영상 저장부로부터 추출하며, 추출된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  14. 제12 항에 있어서, 상기 객체 추적부는
    제1 객체 이미지가 추출된 영상정보 상에서 제1 객체의 위치좌표 및 촬영시간의 변화를 분석하여 제1 객체의 이동속도를 검출하고, 상기 제1 객체의 이동속도를 기반으로 시간별 이동가능거리를 계산하며, 상기 동일 후보군의 객체 이미지 중 이동가능거리 상에 위치한 제2 객체 이미지가 포함된 객체정보를 영상 저장부로부터 추출하며, 추출된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  15. 감시영역을 촬영하여 영상정보를 획득하는 복수개의 영상 촬영부;
    각 영상 촬영부로부터 전송된 영상정보를 저장하며 복수개의 영상 촬영부가 설치된 공간의 2D 도면 또는 3D 도면이 저장된 영상 저장부;
    상기 영상 저장부에 저장된 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하고 영상 저장부에 저장하는 객체 추출부;
    각 영상 촬영부로부터 제공된 영상정보를 영상으로 출력하는 영상 출력부; 및
    상기 영상 출력부를 통해 출력된 영상에 포함된 객체의 선택신호가 수신됨에 따라 선택된 객체의 객체 이미지를 분석하여 동일한 객체 이미지가 포함된 객체정보를 영상 저장부로부터 추출하고, 추출된 객체정보의 좌표 및 촬영시간을 분석하여 상기 도면에 객체의 이동경로를 표시하는 객체 추적부를 포함하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  16. 제15 항에 있어서, 상기 객체 추적부는
    상기 2D 도면 또는 3D 도면 상에서 상기 영상 촬영부의 미설치로 객체의 이동경로가 누락된 누락구간이 존재하는 경우, 상기 누락구간에 이웃한 제1 이동경로와 제2 이동경로가 서로 연결되도록 상기 제1 이동경로와 제2 이동경로 사이에 가상의 이동경로를 표시하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  17. 제15 항에 있어서, 상기 객체 추적부는
    상기 객체정보의 좌표 및 촬영시간을 분석하여 각 좌표가 연결된 객체의 이동경로 이미지를 생성하며, 상기 이동경로 이미지가 표시된 도면을 상기 영상 출력부를 통해 출력하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  18. 제15 항에 있어서,
    상기 객체 추출부는 상기 객체 이미지로부터 객체의 외곽선을 추출하고, 영상정보에 상기 외곽선이 병합된 추적용 영상정보를 생성하여 상기 영상 저장부에 저장하며
    상기 객체 추적부는 상기 선택신호와 매칭된 객체의 외곽선에 제1 색상을 부여하고, 상기 추적용 영상정보 중 상기 제1 색상이 부여된 객체와 동일한 객체의 외곽선에 제1 색상을 부여하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  19. 제18 항에 있어서, 상기 객체의 외곽선은
    객체 이미지의 테두리 부분이거나 객체 이미지를 감싸는 사각형인 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  20. 제15 항에 있어서, 상기 객체정보는
    사람, 자동차, 오토바이, 자전거, 동물 중 어느 하나로 지정된 객체의 종류정보가 더 포함된 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  21. 제15 항에 있어서, 상기 객체 추적부는
    상기 객체의 선택신호가 수신된 영상에서 객체가 사라지면, 상기 영상 저장부에 저장된 2D 도면 또는 3D 도면을 사용하여 선택된 객체가 이동 가능한 예측경로를 검출하고, 상기 예측경로 상에 설치된 영상 촬영부로부터 전송된 영상정보로부터 추출된 객체 이미지를 관리자가 선택한 객체 이미지와 우선적으로 비교하여 객체정보를 생성하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  22. 감시영역을 촬영하여 감시영역 위치정보가 부가된 영상정보를 획득하는 복수개의 영상 촬영부;
    상기 영상정보를 영상인식 프로그램으로 분석하여 움직이는 객체의 좌표 및 촬영시간이 부가된 객체정보를 생성하는 객체 추출부;
    상기 객체정보를 통해 각 객체의 이미지를 비교 분석하여 동일한 객체 이미지가 포함된 객체정보를 선정하고, 선정된 객체정보의 좌표 및 촬영시간을 분석하여 객체의 이동경로를 추적하는 객체 추적부;
    상기 감시영역 위치정보에 인접한 구조물 위치정보가 부가된 구조물 영상정보를 생성하고, 상기 구조물 위치정보를 통신 네트워크를 통해 외부로 송신하며, 상기 구조물 위치정보에 인접한 감시영역의 영상정보를 수신받아 구조물 영상정보에 오버랩하여 출력하는 증강현실앱이 설치된 사용자 단말기; 및
    상기 사용자 단말기로부터 전송된 구조물 위치정보와 매칭된 제1 감시영역 위치정보를 검색하여 상기 제1 감시영역 위치정보가 부가된 감시영역의 영상정보를 검출하고, 검출된 영상정보를 통신 네트워크를 통해 사용자 단말기로 전송하는 증강현실부를 포함하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  23. 제22 항에 있어서,
    각 영상 촬영부로부터 전송된 영상정보를 저장하고, 범죄자의 행동패턴정보 및 건물 내 충입문과 창문의 위치정보가 저장된 영상 저장부를 더 포함하며,
    상기 객체 추적부에 의해 추출된 동일한 객체 이미지가 포함된 객체정보, 범죄자의 행동패턴정보, 및 건물 내 충입문과 창문의 위치정보를 기계 학습 또는 데이터 마이닝 알고리즘으로 분석하여 객체의 도주경로정보를 생성하며, 객체의 도주경로 상에 위치한 사용자 단말기에 상기 도주경로정보를 전송하는 객체행동 예측부를 더 포함하는 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
  24. 제22 항에 있어서, 상기 증강현실앱은
    상기 감시영역의 영상정보와 오버랩 되는 구조물 영상정보의 투명도를 사용자로부터 입력된 제어신호에 따라 조절하도록 구성된 것을 특징으로 하는 객체의 이동경로를 추적할 수 있는 추적시스템.
PCT/KR2019/015453 2019-11-13 2019-11-13 객체의 이동경로를 추적할 수 있는 추적시스템 WO2021095916A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/777,007 US20220406065A1 (en) 2019-11-13 2019-11-13 Tracking system capable of tracking a movement path of an object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0144780 2019-11-13
KR1020190144780A KR102152318B1 (ko) 2019-11-13 2019-11-13 객체의 이동경로를 추적할 수 있는 추적시스템

Publications (1)

Publication Number Publication Date
WO2021095916A1 true WO2021095916A1 (ko) 2021-05-20

Family

ID=72470973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015453 WO2021095916A1 (ko) 2019-11-13 2019-11-13 객체의 이동경로를 추적할 수 있는 추적시스템

Country Status (3)

Country Link
US (1) US20220406065A1 (ko)
KR (1) KR102152318B1 (ko)
WO (1) WO2021095916A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311798B1 (ko) * 2019-12-12 2021-10-08 포항공과대학교 산학협력단 다중 객체 추적 방법 및 장치
WO2021171338A1 (ja) * 2020-02-25 2021-09-02 日本電信電話株式会社 移動対象追跡装置、移動対象追跡方法、移動対象追跡システム、および、学習装置、並びに、プログラム
KR102416825B1 (ko) 2020-10-14 2022-07-06 (주)유디피 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
KR102557837B1 (ko) * 2020-11-24 2023-07-21 고려대학교 산학협력단 객체 검출 시스템 및 이를 이용한 객체 검출 방법과 상기 객체 검출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
KR102308752B1 (ko) 2021-02-22 2021-10-05 주식회사 에스아이에이 객체 추적 방법 및 장치
KR102503343B1 (ko) * 2021-03-11 2023-02-28 박채영 조명 장치를 이용한 침입 감지 및 경보 시스템
WO2022203342A1 (ko) * 2021-03-22 2022-09-29 이충열 컴퓨팅 장치와 연동하는 촬영 장치로부터 획득되는 영상을 처리하는 방법 및 이를 이용한 시스템
KR20220158535A (ko) * 2021-05-24 2022-12-01 삼성전자주식회사 원격 모니터링을 위한 전자 장치 및 이의 동작 방법
KR102476777B1 (ko) * 2022-05-25 2022-12-12 주식회사 유투에스알 인공지능 기반 경로 예측시스템
KR102552202B1 (ko) * 2022-06-21 2023-07-05 (주)에스티크리에이티브 인공지능을 이용한 방문자 관리 시스템
KR102479405B1 (ko) * 2022-07-21 2022-12-21 주식회사 심시스글로벌 공간 네트워크 기반 지능형 cctv 관리 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080093847A (ko) * 2007-04-18 2008-10-22 한국정보통신대학교 산학협력단 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법
KR20100085337A (ko) * 2009-01-20 2010-07-29 주식회사 레이스전자 지능형 카메라 보안 시스템
KR101634966B1 (ko) * 2016-04-05 2016-06-30 삼성지투비 주식회사 Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
KR20170100204A (ko) * 2016-02-25 2017-09-04 한국전자통신연구원 3차원 공간 정보를 이용한 목표물 추적 장치 및 방법
KR101906796B1 (ko) * 2017-07-03 2018-10-11 한국씨텍(주) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968024B1 (ko) 2008-06-20 2010-07-07 중앙대학교 산학협력단 감시 시스템 네트워크를 이용한 객체의 이동 경로 추적방법 및 시스템
KR100964726B1 (ko) 2008-07-14 2010-06-21 한국산업기술대학교산학협력단 영상 카메라 시스템에서 이동 물체 특성을 이용한 이동물체 추적 방법
KR101248054B1 (ko) 2011-05-04 2013-03-26 삼성테크윈 주식회사 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
KR20170140954A (ko) 2016-06-14 2017-12-22 금오공과대학교 산학협력단 감시 카메라 장치 및 감시 카메라 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080093847A (ko) * 2007-04-18 2008-10-22 한국정보통신대학교 산학협력단 멀티비디오 및 메타데이터로 구성된 통합 파일 포맷 구조및 이를 기반으로 하는 멀티비디오 관리 시스템 및 그 방법
KR20100085337A (ko) * 2009-01-20 2010-07-29 주식회사 레이스전자 지능형 카메라 보안 시스템
KR20170100204A (ko) * 2016-02-25 2017-09-04 한국전자통신연구원 3차원 공간 정보를 이용한 목표물 추적 장치 및 방법
KR101634966B1 (ko) * 2016-04-05 2016-06-30 삼성지투비 주식회사 Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
KR101906796B1 (ko) * 2017-07-03 2018-10-11 한국씨텍(주) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법

Also Published As

Publication number Publication date
US20220406065A1 (en) 2022-12-22
KR102152318B1 (ko) 2020-09-04

Similar Documents

Publication Publication Date Title
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
US8819788B2 (en) Method and system for providing security data to security stations
WO2018088608A1 (ko) 영상처리장치 및 그의 영상제공방법
EP0967584B1 (en) Automatic video monitoring system
US7023469B1 (en) Automatic video monitoring system which selectively saves information
US8184154B2 (en) Video surveillance correlating detected moving objects and RF signals
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR101425505B1 (ko) 객체인식기술을 이용한 지능형 경계 시스템의 감시 방법
WO2015119439A1 (ko) 시공적 상황데이터를 이용한 경고 방법 및 시스템
WO2018124510A1 (ko) 이벤트 저장 장치, 이벤트 검색 장치, 및 이벤트 알람 장치
WO2018004298A1 (ko) 영상 축약 시스템 및 방법
EP2093636A1 (en) Method for controlling an alarm management system
Alshammari et al. Intelligent multi-camera video surveillance system for smart city applications
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2021261656A1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
WO2020262977A1 (ko) 인공지능을 이용하여 이미지의 객체를 제거하는 방법
WO2020218644A1 (ko) 인공지능을 이용하여 로봇의 위치를 재정의하는 방법 및 로봇
KR20080044812A (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
WO2020153568A1 (en) Electronic apparatus and control method thereof
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952674

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19952674

Country of ref document: EP

Kind code of ref document: A1