WO2019103208A1 - 다중 분산 영상 데이터 분석 장치 - Google Patents

다중 분산 영상 데이터 분석 장치 Download PDF

Info

Publication number
WO2019103208A1
WO2019103208A1 PCT/KR2017/013586 KR2017013586W WO2019103208A1 WO 2019103208 A1 WO2019103208 A1 WO 2019103208A1 KR 2017013586 W KR2017013586 W KR 2017013586W WO 2019103208 A1 WO2019103208 A1 WO 2019103208A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
frame
analysis
model
Prior art date
Application number
PCT/KR2017/013586
Other languages
English (en)
French (fr)
Inventor
김학철
정성훈
한혁
진성일
Original Assignee
㈜리얼타임테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜리얼타임테크 filed Critical ㈜리얼타임테크
Publication of WO2019103208A1 publication Critical patent/WO2019103208A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a method and apparatus for recognizing and managing the same objects as one object in different images provided from a plurality of image acquisition devices distributed at different positions,
  • the present invention relates to a technology for easily acquiring sign information for an object by predicting a moving position of the object and for analyzing the state of the object more quickly using a certain type of object model.
  • CCTV cameras may be integrated with a GPS chip or connected to a network such as a management server by means of wi-fi, Bluetooth or ZigBee depending on the purpose.
  • the above-mentioned CCTV cameras are used for a variety of purposes such as industrial use, education use, traffic control, and pollution control. As the supply of CCTV cameras increases rapidly, the CCTV cameras do not only store the images taken by the CCTV cameras, There is a growing demand for intelligent surveillance services that detect abnormal behaviors.
  • the intelligent video surveillance system basically monitors the behavior of objects in video, performs object detection and tracking, and eventually detects abnormal behavior patterns of objects.
  • the movement trajectory information of the object is most often used to monitor the object behavior or detect abnormal behavior patterns.
  • the locus data for the object is generally stored in a point object data structure of (t, x, y). That is, the trajectory information of an object moving in an image is expressed in a continuous point shape.
  • information about an object extracted from an image capturing device such as a CCTV camera includes an image frame number and object model information on which an object is displayed.
  • the object model usually includes a minimum bounding rectangle (MBR) ).
  • the space-time data storage technique stored in the point object form has a difficulty in managing the object information because the object information and the data structure extracted from the image data are different.
  • an image acquisition device such as a CCTV camera, a vehicle black box, etc., provides only image data for a certain area.
  • the present invention has been made in view of the above circumstances, and it is an object of the present invention to provide an image processing apparatus and method,
  • the present invention provides a multi-image data analyzing apparatus that can easily and reliably predict a plurality of image data.
  • an image capturing apparatus comprising: a plurality of image capturing devices provided at different positions to provide image data for different capturing areas; Output unit, stores them in a data store, assigns one object identifier to the same object existing in each original image provided from different image acquiring apparatuses, assigns an object identifier to the object identifier An object model for the image acquisition device, and a plurality of image object information including the locus information for the movement path for each image acquisition device, and storing the generated multiple image object information in a data storage, map data, and multiple image object information And a multiplexing unit that multiplexes the multi- A data repository for storing information for image analysis, a multiple image analysis unit for performing analysis processing corresponding to predetermined analysis conditions using an object model for the object in the image data, and providing analysis results to an information input / output unit, And an information input / output unit for displaying an output image of a frame image selected by the user, in addition to providing an input environment for setting analysis conditions and selecting
  • the data storage stores image acquisition device information including an image acquisition device location and an image capture area
  • the multi-image processing module includes object basic information including an object model per frame number of the original image, And an image capturing area, and predicts a movement path for an arbitrary object according to a lapse of time by interlocking the original image with the map data, and interlocks the original image of the other image capturing device with the map data in correspondence with the predicted movement path And to determine the identity between the objects existing in the original image of the multiple image acquiring device with respect to the arbitrary object.
  • the multi-image processing unit assigns one object identifier to the same object existing in the images of the plurality of image acquisition apparatuses, and the object type, the object detail information, the image start time, the image end time, And the object trajectory information, wherein the total number of trajectories is the number of frames in which the object model is represented, wherein each object trajectory information includes at least one of image start time and image end time,
  • the object extraction information including a number of objects, time, and object model, and the object extraction information has a structure that varies according to the number of object models.
  • the multi-image analyzing unit may include a network analyzing module that predicts the position of an object with respect to an interval in which the image acquiring device is not installed in association with the map data, and the network analyzing module analyzes the time interval And estimates an object position with respect to an area in which the image acquiring device does not exist based on a moving direction and a moving path of the object in a state where the frames are arranged in the map data, An apparatus for analyzing a distributed image data is provided.
  • the multi-image analyzing unit may include a single object analyzing module for analyzing a motion state of an object to be analyzed in an adjacent frame using an object model, And determines the degree of motion of the object based on the aspect ratio of the object model in the adjacent time frame or the aspect ratio of the object model in the adjacent time frame.
  • An analysis device is provided.
  • the multi-image analyzing unit may determine whether objects collide with each other based on the degree of overlapping area of object models of different objects existing in the same frame, or may determine whether a center-point distance between different object models existing in the same frame And an object relation analysis module for determining whether or not there is a collision between the objects based on a distance shorter than a reference center point distance when the model is minimally overlapped.
  • the multi-image analyzing unit may calculate an area of the first outer model including the first object model and the outer circumference of the second object model in the first frame, a first object model in the second frame adjacent to the first frame, When the area of the second outer model in the second frame is smaller than the area of the first outer model in the first frame by comparing the areas of the second outer model including the outer edges of the two object models, The distance between the first and second objects is determined to be close to each other.
  • the multi-image analyzing unit analyzes the frames satisfying the analysis conditions in the original image corresponding to the predetermined spatial region, generates analysis index information constituted by arranging the frame numbers corresponding to the analysis results in time, Output unit, and the information input / output unit displays and outputs an original image for a predetermined space area in association with the map data for a predetermined time, and outputs an analysis index corresponding to the corresponding output original image provided through the multiple image analysis unit
  • the original image of the corresponding frame number is called from the data repository based on the frame number corresponding to the index information position selected by the user and displayed and output, For the corresponding analysis result section, And outputting the multivariate image data to be displayed in an identifiable manner.
  • the information input / output unit superimposes the original image on the map data and displays it, and superimposes only the predetermined region of interest in the original image on the map data or superimposes only the object information on the map data on the original image to display and output
  • a plurality of distributed image data analysis apparatuses are provided.
  • the present invention it is possible to integrally store and manage the locus information of the same object included in the multi-dispersive image provided from the image acquisition apparatus installed at different positions, It is possible to reliably predict the movement path of the object even in the non-region, thereby ensuring continuous trajectory information about the object.
  • FIG. 1 is a conceptual diagram for explaining a configuration of an apparatus for analyzing multi-variance image data according to the present invention.
  • FIG. 2 is a block diagram showing the internal structure of the multiple image analysis apparatus 200 shown in FIG. 1 functionally separated.
  • FIG. 2 is a block diagram showing the internal structure of the multiple image analysis apparatus 200 shown in FIG. 1 functionally separated.
  • FIG. 3 is a diagram illustrating a data structure of multiple image object information generated by the multiple image processing unit 230 shown in FIG.
  • FIG. 4 is a diagrammatic representation of a distributed processing function processed by the multiple image analysis unit 250 shown in FIG. 2.
  • FIG. 4 is a diagrammatic representation of a distributed processing function processed by the multiple image analysis unit 250 shown in FIG. 2.
  • FIG. 5 is a diagram for explaining a method of generating object information performed by the multiple image processing unit 230 shown in FIG. 2.
  • FIG. 5 is a diagram for explaining a method of generating object information performed by the multiple image processing unit 230 shown in FIG. 2.
  • FIGS. 6 to 8 are diagrams for explaining an object state analysis method performed by the multiple image analysis unit 250 shown in FIG. 2.
  • FIG. 6 is diagrams for explaining an object state analysis method performed by the multiple image analysis unit 250 shown in FIG. 2.
  • FIG. 12 and 13 are views illustrating a screen configuration for inputting and outputting image analysis information in the information input / output unit 260 shown in FIG.
  • FIG. 14 is a flowchart for explaining the operation of the multiple image analysis apparatus 200 shown in FIG. 2.
  • FIG. 14 is a flowchart for explaining the operation of the multiple image analysis apparatus 200 shown in FIG. 2.
  • FIG. 15 illustrates a multiple image output screen displayed and output through the information input / output unit 260 in FIG.
  • FIG. 1 is a conceptual diagram for explaining a configuration of a multi-dispersion image data analyzing apparatus according to the present invention, in which a plurality of image acquiring apparatuses 100 are combined with a multi-image analyzing apparatus 200.
  • the image capturing apparatus 100 may be various types of apparatuses for capturing images of a certain region such as a plurality of CCTV cameras or black boxes of vehicles installed at different positions and photographing different regions.
  • the multi-image analysis apparatus 200 can change the shooting environment including the shooting direction, the shooting angle, and the like of the image capturing apparatus 100. Accordingly, the image acquiring apparatus 100 may provide the image index information including the photographing region together with the photographed image data to the multi-image analyzer 200.
  • the video index information includes a video capturing start time, an ending time, and capturing area information for each video capturing device identifier.
  • the multi-image analysis apparatus 200 real-time displays and outputs the multi-dispersed images provided from the plurality of image acquisition apparatuses 100 in association with the map data, and also displays, in a region where the image acquisition apparatus 100 is not installed, And obtains consecutive object positions.
  • the multi-image analysis apparatus 200 integrally manages object information by assigning one object identifier to the same objects appearing in distributed images provided from different image acquisition apparatuses 100.
  • the multi-image analyzing apparatus 200 manages the shape of the object as a simplified object model, and analyzes the single object and the relation between the different objects using the object model.
  • the multi-image analysis apparatus 200 displays and outputs an image in association with map data corresponding to the analysis condition set by the user, and also displays a portion corresponding to the analysis result for a specific image frame required by the user as a visual As shown in FIG.
  • FIG. 2 is a block diagram showing the internal structure of the multi-image analysis apparatus 200 shown in FIG. 1 functionally separated.
  • the multiple image analysis apparatus 200 includes an image collection unit 210, an object information extraction unit 220, a multiple image processing unit 230, a data storage 240, a multiplex image analysis unit 250, and an information input / output unit 260.
  • the image collecting unit 210 collects various types of moving image data such as CCTV images for the corresponding photographing area from a plurality of image capturing apparatuses 100 in real time.
  • the object information extracting unit 220 extracts object basic information on a frame-by-frame basis from each image data provided from the image collecting unit 210.
  • the object basic information includes a frame number per object identifier, object model information, object type, and object detailed information.
  • the object information extraction unit 220 refers to the object ontology storage unit 243 of the data repository 240 to set object type and object detail information.
  • the object model information can be represented as a minimum bounding rectangle (MBR) instead of an object in a polygonal shape based on an object shape.
  • MLR minimum bounding rectangle
  • the object basic information may be provided from the image acquisition apparatus 100 or may be newly generated by the object information extraction unit 220.
  • the multiple image processing unit 230 stores the original image data supplied from the image collecting unit 210 in the data storage 400 in units of frame numbers for each image acquiring device. Then, the original image supplied from the image collecting unit 210 is provided to the information input / output unit 260 so as to be displayed in real time.
  • the multiple image processing unit 230 uses the frame number included in the object basic information provided from the object information extracting unit 200 and the time information of the original image stored in the data storage 400, And extracts the same object from multiple images, that is, multiple images based on the generated image.
  • the multiple image processing unit 230 assigns one object identifier to the same object, and extracts the trajectory information of the object in time sequence in multiple images. That is, the multiple image processing unit 230 generates multiple image object information including the locus information for multiple images per object identifier, and stores the generated multiple image object information in the data storage 240. At this time, the locus information has a structure that varies according to the number of frames in which the object model appears. As shown in FIG. 3, the multiple image object information includes an object type per object identifier, object detailed information, start time, end time, total number of trajectories, and object trajectory information. Here, the total number of trajectories represents the number of frames in which the object model appears.
  • the object trajectory information includes n object extraction information consisting of start time and end time, number of object MBRs (n), time, .
  • the data store 240 is a device for storing various information for multi-image analysis according to the present invention and may be implemented as a repository such as a separate database.
  • the data storage 240 includes an image acquisition device information storage 241, a map data storage 242, an object ontology storage 243, an original image data storage 244, an object information storage 245, .
  • the original image data storage unit 244 may be implemented as a separate storage.
  • the image acquisition device information storage unit 241 stores a device basic information table including an installation location for each device identifier, a frame number per second, a device image information table including an imaging start time, a shooting end time, .
  • the map data storage unit 242 stores geographical information, such as facilities, for example, map data.
  • the object ontology storage unit 243 stores relation information for defining object related information. For example, for a bus, taxi, or car, a relationship is defined to set the object type to " vehicle ".
  • the original image data storage unit 244 stores image original data for an image frame number per device identifier. In the object information storage unit 245, the multiple image object information generated by the multiple image processing unit 230 is stored.
  • the multiple image analysis unit 250 generates analysis result information corresponding to the analysis conditions and provides the information to the information input / output unit 700.
  • the multi-image analyzing unit 250 generates an analysis result corresponding to a predetermined analysis condition on the real-time original image provided to the multiple image processing unit 230 or analyzes the image based on the information stored in the data storage 240 And generates an analysis result corresponding to the condition.
  • the image input / output unit 260 performs analysis processing on an image corresponding to a frame number requested for analysis, and provides the analysis result information to the information input / output unit 260.
  • the multi-image analyzing unit 250 includes a network analyzing module 251, a single object analyzing module 252, and an object relationship analyzing module 253.
  • the network analysis module 251 predicts the position of the object with respect to the section in which the image acquisition apparatus 100 is not installed, in cooperation with the map data.
  • the single object analysis module 252 analyzes the motion change for an object in a neighboring frame.
  • the object relation analysis module 253 analyzes state changes between different objects existing in the same frame.
  • the information input / output unit 260 is for performing an interface with a user.
  • the information input / output unit 260 registers and stores image acquisition device information, map data, and object ontology information input by a user in the data storage 400 in advance, The analysis conditions are set.
  • the information input / output unit 260 displays the real time image provided from the multiple image processing unit 230 in conjunction with the map data in real time, and outputs the frame number corresponding to the analysis request by the user to the multiple image analysis unit 250 And displays the analyzed result on the frame image provided from the multi-image analyzing unit 250 so as to be identified.
  • FIG. 5 is a diagram for explaining a method of generating object information performed by the multiple image processing unit 230 shown in FIG.
  • the object information extracting unit 220 assigns different object identifiers to the first and second image acquiring apparatuses and stores the frame number, the object model information, the object type, and the object detail information for the corresponding image And provides the generated object basic data to the multiple image processing unit 230. That is, the first and second object basic data having different object identifiers for the same object A are provided to the multiple image processing unit 230 for the first image acquiring device and the second image acquiring device, respectively.
  • the multiple image processing unit 230 calls information on the image capturing device in the image capturing device information storage unit 241 of the data repository 240 based on the first and second object basic data, By analyzing the acquiring device information in conjunction with the map data, it is determined that the objects in the first and second images are the same object A. That is, the multiple image processing unit 230 sequentially calls the image processing apparatus image of the corresponding position on the basis of the object moving direction and the moving path (e.g., road) in the map data including the corresponding spatial region, It is possible to generate the identity of the object A and the trajectory information corresponding to the movement path (TL in Fig. 5) in the different shooting regions of the two image capturing apparatuses.
  • the multiple image processing unit 230 sequentially calls the image processing apparatus image of the corresponding position on the basis of the object moving direction and the moving path (e.g., road) in the map data including the corresponding spatial region. It is possible to generate the identity of the object A and the trajectory information corresponding to the movement path (TL in Fig.
  • the multiple image processing unit 230 checks whether the object record for the object A exists in the object information storage unit 245 of the data storage 240. If the object record for the object A exists, Add information. On the other hand, if there is no object record for the object A, a new object record as shown in FIG. 4 is additionally generated and stored in the object information storage unit 245 of the data storage 240.
  • FIGS. 6 to 8 are views for explaining an object state analysis method performed by the multiple image analysis unit 250 shown in FIG. 6 and 7 are views for explaining a trajectory tracking method in the network analysis module 251.
  • FIGS. 7 and 8 are views showing an example of analysis of a single object in the single object analysis module 252, 9 to 11 are diagrams showing an example of an analysis of relationships between objects in the object relationship analysis module 253.
  • the network analysis module 251 predicts the position of the object to be analyzed with respect to the time that is not stored in the object information storage unit 245 using the MBR information before and after the time to be calculated. First, the network analysis module 251 determines a time interval between object information for adjacent time. If the time interval is longer than the reference frame unit time, the network analysis module 251 uses the map data of the corresponding space and the object model of the before- The position of the object to be analyzed is determined at the time corresponding to the object to be analyzed.
  • the object model (MBRi) at Ti time in the object information storage unit 245 maps the corresponding object models MBRi and MBRk to the map data of the corresponding space as shown in FIG. 5, The position of the corresponding object in the Tj time between Ti and Tk can be calculated based on the road data of the map data and the moving direction of the object. At this time, the network analysis module 251 can more accurately predict the position of the corresponding object in the Tj time based on the moving speed of the object.
  • the single object analysis module 252 analyzes a state change of a corresponding object in an adjacent frame using an object model (MBR). Accordingly, it is possible to judge the state change of the object, that is, the movement, more quickly than the method of judging the object change by comparing the point data with respect to the object.
  • MLR object model
  • the single object analysis module 252 analyzes an object motion by calculating an angle of an object model (MBR) center point in an adjacent time frame with respect to the object to be analyzed, as shown in FIG.
  • the single object analysis module 252 determines that the angle ⁇ formed by each center point Ci, Cj, Ck of the same object model (MBRi, MBRj, MBRk) in at least three frames with respect to the adjacent time is equal to or larger than a certain size , It is judged that the object to be analyzed is moving rapidly.
  • the single object analysis module 252 can analyze the object motion by calculating the morphological change rate of the object models (MBRi, MBRj) in the adjacent time frame as shown in FIG.
  • the single object analysis module 252 analyzes the size of the object model MBRi in the previous frame and the size Wi in the current frame and the size Hj in the object frame MBRj in the current frame It is judged that the motion of the object to be analyzed is abrupt when the change in the ratio between the width and the height is larger than a certain size.
  • the object relationship analyzing unit 253 analyzes the object relationship by calculating the overlapped area MBRx of the different moving object models MBR1 and MBR2 existing in the same frame as shown in FIG. At this time, as shown in FIG. 9, there is an overlapped area MBRx between the object models MBR1 and MBR2, but actual objects (trucks of MBR1 and cars of MBR2) may not overlap. In consideration of this, the object relationship analyzing unit 253 can determine that overlapping of objects, that is, collision between objects, occurs when the overlapping area MBRx is equal to or larger than a certain size.
  • the object relation analyzer 253 can analyze the object relationship through the center-point distance calculation of the different moving object models MBR1 and MBR2 existing in the same frame as shown in FIG. 10A shows a case where the first object model MBR1 and the second object model MER2 overlap at a minimum and has a reference center distance L0.
  • 10B and 10C illustrate a case where a part of the first object model MBR1 and a part of the second object model MER2 are overlapped with each other and they are a first center point having a distance value shorter than the reference center point distance L0, And has a distance L1 and a second center-point distance L2.
  • the object relationship analyzing unit 253 determines whether the first object model MBR1 and the second object model MBR2 have a center point distance smaller than a reference center point distance L0 (a) 1 < / RTI > object and the second object are in conflict.
  • the object relation analyzer 253 can analyze a state in which two different objects approach each other.
  • the close proximity of two objects means that the distance of two objects is nearer in the adjacent time. That is, the object relation analyzer 253 calculates the area of the outer model (MBR3-1) including the outline of the first object model (MBR1) and the second object model (MER2) in the previous frame, The area of the outer model (MBR3-1) of the previous frame is compared with the area of the outer model (MBR3-2) of the outer frame (MBR3-1) of the second object model When the area of the outer model MBR3-1 of the first model MBR3-1 becomes smaller, the first object and the second object become closer to each other.
  • the object relation analyzer 253 determines whether the center-point distance between the first object model MBR1 and the second object model MBR2 is greater than the reference center-point distance, and whether the center-point distance is gradually shortened over time You can make additional judgments.
  • the object relationship analyzing unit 253 determines that the center distance between the two object models MBR1 and MBR2 is gradually decreased as the area of the outer model MBR3 including the outlines of the two object models MBR1 and MBR2 becomes smaller , It can be determined that the first object and the second object are close to each other.
  • FIGS. 12 and 13 are diagrams for explaining the screen configuration of the information input / output unit 260 and illustrate screens for inputting and outputting image analysis information.
  • the information input / output unit 260 includes an analysis condition input item 261, a frame selection item 262, an analysis result index window 263, and an image display window 264.
  • the analysis condition input item 261 includes an analysis condition and a menu for setting a start time and an end time of an image to be output through the image display window 264.
  • the information set by the analysis condition input item 261 is provided to the image information analysis unit 250. Then, the image information analyzing unit 250 calls the original image corresponding to the image start time and the end time from the data storage 240, displays it through the image display window 264, Analyzes the frame satisfying the condition, generates analysis index information including frame numbers corresponding to the analysis result, and outputs the analysis index information through the analysis result index window 263.
  • the frame selection item 262 can select a frame image at a time corresponding to the setting bar position by moving and stopping the setting bar that is slid in the horizontal direction. At this time, the information input / output unit 260 provides the frame number corresponding to the setting bar position to the image information analyzing unit 250.
  • the index window 263 displays a section in which there is a meaningful analysis result corresponding to the position of the frame selection item 262.
  • the image display window 264 displays and outputs the original image in association with the map data, and displays and outputs the image frame of the time set by the frame selection item 262.
  • an object satisfying the analysis condition set by the user is indexed and displayed in the form of colored (P1) or rectangular outline (P2) as shown in FIG.
  • P1 or P2 the results of the objects getting closer to each other and the collision result can be identified and represented in different forms.
  • the user performs a series of information registration procedures for storing the basic information including the installation position and the number of frames per second and map data in the data storage 240 through the information input / output unit 260 (ST10).
  • the device basic information for the image acquisition device can be directly provided while being connected to the image acquisition device, and the map data can also be directly connected to a spatial information providing server for providing map data.
  • the registration of the plurality of image capturing apparatuses 100 installed at different positions as described above is performed and the image capturing unit 210 is connected to the registered image capturing apparatus 100, And collects a plurality of images provided from the apparatus 100, that is, multiple images, in real time, and stores them in the data storage 240.
  • the image collection unit 210 provides the original image provided from the image acquisition apparatus 100 to the multiple image processing unit 230.
  • the multiple image processing unit 230 provides the real time multiple original image to the information input / And visually displayed on the map data for display and output (ST20).
  • 15 is a view illustrating an example of a multi-image output screen displayed through the information input / output unit 260.
  • the multiple images combine the image X corresponding to each photographing region of the image capturing apparatus 100 on the map data, and display the combined images.
  • the multi-region may be displayed and output in a form in which only a predetermined region of interest such as a road (Y) region of the image X corresponding to the shooting region is superimposed on the map data.
  • the multi-region may be displayed and output in the form of superimposing only the object Z (e.g., car) among the images X corresponding to the shooting region on the map data, and the object Z may be an MBR- Can be expressed in shape.
  • the object Z e.g.,
  • the image collection unit 210 provides the original image data to the object information extraction unit 220, and the object information extraction unit 220 extracts meaningful object information from each frame, (ST30).
  • the object information extracting unit 220 assigns an object identifier to the extracted object, and generates object basic information including the frame number, object model (MBR) information, object type, and object detail information for the object identifier.
  • the object basic information is generated for each image capturing apparatus 100.
  • the object information extraction unit 220 provides each object basic information generated for each image acquisition device to the multiple image processing unit 250.
  • the multiple image processing unit 250 includes a plurality of object bases provided from the object information extraction unit 220, Generates the multiple image object information based on the information, and stores it in the data storage 240 (ST40).
  • the multiple image processing unit 250 determines the same object from the object basic information of the different image capturing apparatuses 100 by linking the object basic information with the map data, and assigns one object identifier to the same object
  • multiple image object information including object locus information is generated based on object basic information.
  • the object locus information includes all the image information of the image capturing apparatus 100 located within the movement range corresponding to the movement range of the object.
  • the multi-image analyzing unit 250 analyzes multiple image objects corresponding to predetermined analysis conditions using the multi-image object information stored in the data storage 240 (ST50).
  • the multi-image analyzing unit 250 performs an analysis process according to a state change of a single object using the object model, or performs an object-to-object relationship analysis process on the distance or area between different objects in the same frame.
  • the analysis condition may be preset by the user, and may be set, for example, when the motion size of the object is equal to or greater than a predetermined value, when different objects approach a certain range, or when different objects collide with each other.
  • the multi-image analyzing unit 250 generates analysis index information by arranging the frame numbers on the time axis in which the multiple image objects corresponding to the analysis conditions exist, and outputs the analysis index information to the analysis result index window 263 of the information input / (ST60).
  • an analysis image corresponding to the frame number corresponding to the analysis index selected by the user is displayed and output through the image display window 264 (ST70).
  • the analysis image is identified and output so that the region corresponding to the analysis result in the frame image is visually easily recognized.
  • the analysis request information is inputted by the user using the analysis condition setting item 261 of the information input / output screen (ST80)
  • the multi-image data corresponding to the area and time corresponding to the analysis condition is stored in the data repository 240 , Calls the map data of the corresponding area in the data storage 240, visualizes the map data as shown in FIG. 5, and outputs the visualized data (ST90).
  • the multi-image analysis apparatus 200 calls multiple images corresponding to the analysis conditions set in step ST80 in the data repository 240, and based on the analysis results satisfying the analysis conditions in the called multiple images, And performs a series of operations of displaying and outputting an analysis image of a frame number corresponding to the analysis index position selected by the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 서로 다른 위치에 분산 설치된 다수의 영상 획득 장치로부터 제공되는 서로 다른 영상에서 동일 객체를 하나의 객체로 인식하여 관리하고, 맵 데이터와 연동하여 영상 획득 장치가 없는 공간에 대해서도 객체에 대한 연속적인 이동 위치를 예측함으로써, 객체에 대한 궤적정보를 용이하게 획득함은 물론, 일정 형태의 객체 모델을 이용하여 보다 신속하게 객체에 대한 상태를 분석할 수 있도록 해 주는 기술에 관한 것이다.

Description

다중 분산 영상 데이터 분석 장치
본 발명은 서로 다른 위치에 분산 설치된 다수의 영상 획득 장치로부터 제공되는 서로 다른 영상에서 동일 객체를 하나의 객체로 인식하여 관리하고, 맵 데이터와 연동하여 영상 획득 장치가 없는 공간에 대해서도 객체에 대한 연속적인 이동 위치를 예측함으로써, 객체에 대한 궤적정보를 용이하게 획득함은 물론, 일정 형태의 객체 모델을 이용하여 보다 신속하게 객체에 대한 상태를 분석할 수 있도록 해 주는 기술에 관한 것이다.
최근에는 교통 상황의 실시간 감시나 교통 정보의 제공, 또는 각종 보안의 목적으로 다양한 형태의 CCTV 카메라가 도로나 인도, 주택가, 골목 등 곳곳에 설치되고 있다.
이러한 CCTV 카메라들은 그 용도에 따라 GPS 칩이 내장되거나, 와이파이(wi-fi)/블루투스/지그비 등의 수단에 의해 관리 서버 등의 네트워크에 연결될 수 있다.
상기한 CCTV 카메라들은 산업용, 교육용, 교통 관제용 및 방제용 등과 같이 다양한 용도로 사용되고 있으며, CCTV 카메라의 보급이 급증함에 따라 CCTV 카메라가 촬영한 영상을 저장하는데 그치지 않고, 입력된 대용량의 영상을 분석하여 비정상적인 행동을 탐지하는 지능형 감시 서비스에 대한 요구가 급증하고 있다.
지능형 영상감시 시스템은 기본적으로 동영상에서 객체들의 행동을 모니터링하고, 객체 탐지 및 추적 기능을 수행하며, 최종적으로는 객체들의 비정상적인 행동 패턴을 탐지하는 등의 기능을 수행한다.
이때, 객체의 이동궤적 정보는 객체 행동을 모니터링하거나 비정정상적인 행동 패턴을 탐지하는데 가장 많이 이용된다.
한편, 상기한 객체에 대한 궤적 데이터는 일반적으로 (t,x,y)의 점 객체 자료구조로 저장된다. 즉, 영상 내에서 이동하는 객체의 궤적정보는 연속된 점 형태로 표현된다.
반면, 일반적으로 CCTV 카메라 등의 영상획득장치에서 추출하는 객체에 대한 정보는 객체가 나타난 이미지 프레임 번호와 객체 모델정보를 포함하는데, 객체 모델은 통상 해당 객체를 포함하는 사각형 등의 MBR(Minimum Bounding Rectangle)형태로 표현된다.
이에 따라 점 객체 형태로 저장되는 시공간 데이터 저장 기술은 영상 데이터에서 추출한 객체정보와 자료구조가 상이하기 때문에 이를 통해 객체정보를 관리하기에는 무리가 있게 된다.
또한, CCTV카메라나, 차량 블랙박스 등과 같은 영상획득장치는 일정 영역에 대한 영상데이터만을 제공한다.
따라서, 일정 영역 이상의 시공간에서 이동하는 객체에 대한 궤적데이터를 연속적으로 분석하기 위해서는 해당 영역내에 위치하는 서로 다른 위치에 분산 설치된 다수의 영상획득장치들로부터 제공되는 영상데이터를 통합적으로 분석해야 할 필요가 있다.
또한, 이동성을 갖는 객체에 대한 연속적인 궤적데이터를 확보하기 위해서는 영상획득장치가 설치되지 않는 구간에 대해서도 객체의 이동 위치를 예측할 필요가 있다.
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 다수의 영상획득장치로부터 제공되는 서로 다른 영역에 대한 영상을 맵 데이터와 연동하여 관리함으로써, 영상획득장치가 없는 구간에 대해서도 객체의 위치를 용이하고 신뢰성있게 예측할 수 있도록 해 주는 다중 영상 데이터 분석장치를 제공함에 그 기술적 목적이 있다.
또한, 서로 다른 영상획득장치의 영상에서 나타나는 동일 객체를 하나의 객체로 인식하여 관리함과 더불어, 객체에 대응되는 일정 형태의 객체 모델을 이용하여 객체 상태를 분석함으로써, 시공간상에서 객체에 대한 상태를 보다 신속하게 분석할 수 있도록 해 주는 다중 분산 영상 데이터 분석 장치를 제공함에 또 다른 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 서로 다른 위치에 설치되어 서로 다른 촬영 영역에 대한 영상 데이터를 제공하는 다수의 영상획득장치와, 다수의 영상획득장치로부터 제공되는 서로 다른 영역에 대한 원본 영상을 정보 입출력부로 제공함과 더불어, 데이터 저장소에 저장하고, 서로 다른 영상획득장치로부터 제공되는 각 원본 영상에 존재하는 동일 객체에 대하여 하나의 객체 식별자를 부여하며, 객체 식별자에 대해 해당 객체 표현을 위한 객체 모델 및, 영상획득장치별 이동 경로에 대한 궤적정보를 포함하는 다중 영상 객체정보를 생성하여 데이터 저장소에 저장하는 다중 영상 처리부, 맵 데이터와, 상기 다중 영상 처리부에서 생성되는 다중 영상 객체정보 및, 상기 영상획득장치로부터 제공되는 원본 영상을 포함하는 다중 영상 분석을 위한 정보가 저장되는 데이터 저장소, 영상 데이터에서 객체에 대한 객체 모델을 이용하여 기 설정된 분석 조건에 대응되는 분석처리를 수행하고, 분석 결과를 정보 입출력부로 제공하는 다중 영상 분석부 및, 사용자에 의한 분석 조건 설정 및 특정 프레임 영상 선택을 위한 입력환경을 제공하고, 원본 영상을 맵데이터의 해당 촬영 영역에 합성하여 표시출력함과 더불어, 사용자에 의해 선택된 프레임 영상을 표시 출력하는 정보 입출력부를 포함하여 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
또한, 상기 데이터 저장소에는 영상획득장치 위치 및 촬영 영역을 포함하는 영상 획득장치정보가 저장되고, 상기 다중 영상 처리부는 원본 영상에 대한 프레임 번호별 객체 모델을 포함하는 객체 기본정보와 영상획득장치의 위치 및 영상 촬영영역에 기초하여 원본 영상을 맵 데이터에 연동시켜 시간 경과에 따른 임의 객체에 대한 이동 경로를 예측하고, 예측된 이동 경로에 대응하여 타 영상획득장치의 원본 영상을 추가적으로 맵데이터에 연동함으로써, 임의 객체에 대하여 다수 영상획득장치에 대한 원본 영상에 존재하는 객체들간의 동일성을 판단하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
또한, 상기 다중 영상 처리부는 다수의 영상획득장치의 영상에 존재하는 동일 객체에 대해 하나의 객체 식별자를 부여하고, 객체 식별자별 객체종류와, 객체 상세정보, 영상 시작시간, 영상 종료시간, 전체 궤적개수 및, 객체궤적정보를 포함하는 다중 영상 객체정보를 생성하되, 상기 전체 궤적 개수는 객체 모델이 나타난 프레임 개수로서, 각 객체 궤적정보는 영상획득장치 식별자별 영상 시작시간과 영상 종료시간, 객체 모델 개수 및, 시간과 객체 모델로 이루어지는 객체 추출정보를 포함하여 구성되며, 상기 객체 추출정보는 객체 모델 개수에 대응하여 가변되는 구조로 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
또한, 상기 다중 영상 분석부는 맵 데이터와 연동하여 영상획득장치가 설치되지 않은 구간에 대한 객체의 위치를 예측하는 네트워크 분석모듈을 포함하여 구성되고, 상기 네트워크 분석모듈은 기 저장된 인접 프레임 사이의 시간 간격이 기준 프레임 단위 시간 이상인 경우, 맵 데이터에 해당 프레임들을 배치시킨 상태에서 객체의 이동 방향 및 이동로를 근거로 영상획득장치가 존재하지 않는 영역에 대한 객체 위치를 예측하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
또한, 상기 다중 영상 분석부는 객체 모델을 이용하여 인접한 프레임에서의 분석 대상 객체의 움직임 상태를 분석하는 단일객체 분석모듈을 포함하여 구성되고, 상기 단일객체 분석모듈은 분석 대상 객체에 대한 인접 시간 프레임에서의 객체 모델 중심점의 각도를 근거로 객체 움직임 정도를 판단하거나, 인접 시간 프레임에서의 객체 모델의 가로와 세로의 형태 변화 비율을 근거로 객체 움직임 정도를 판단하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
또한, 상기 다중 영상 분석부는 동일 프레임에 존재하는 서로 다른 객체에 대한 객체 모델들의 중첩 면적의 정도를 근거로 객체들간의 충돌 여부를 판단하거나, 동일 프레임에 존재하는 서로 다른 객체 모델간의 중심점 거리가 객체 모델이 최소로 겹치는 경우의 기준 중심점 거리보다 짧은 정도를 근거로 객체들간의 충돌 여부를 판단하는 객체 관계 분석모듈을 포함하여 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
또한, 상기 다중 영상 분석부는 제1 프레임에서 제1 객체 모델과 제2 객체 모델의 외곽을 포함하는 제1 외곽 모델의 면적과, 제1 프레임과 인접하는 제2 프레임에서의 제1 객체 모델과 제2 객체 모델의 외곽을 포함하는 제2 외곽 모델의 면적을 비교하여, 제1 프레임에서의 제1 외곽 모델의 면적보다 제2 프레임에서의 제2 외곽 모델의 면적이 작아지는 경우, 제1 객체와 제2 객체간의 거리가 가까워지는 것으로 판단하는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
또한, 상기 다중 영상 분석부는 일정 공간 영역에 해당하는 원본 영상에서 분석 조건을 만족하는 프레임을 분석하고, 그 분석 결과에 해당하는 프레임 번호들이 시간에 대응되게 배치되어 구성되는 분석 인덱스 정보를 생성하여 상기 정보 입출력부로 제공하며, 정보 입출력부는 기 설정된 시간에 대하여 일정 공간 영역에 대한 원본 영상을 맵 데이터와 연동하여 표시출력함과 더불어, 상기 다중 영상 분석부를 통해 제공되는 해당 출력 원본 영상에 대응되는 분석 인덱스 정보를 일측에 추가로 표시출력하고, 사용자에 의해 선택되는 인덱스 정보 위치에 대응되는 프레임 번호를 근거로 데이터 저장소에서 해당 프레임 번호의 원본 영상을 호출하여 표시출력하되, 프레임 영상에서 기 설정된 분석 조건에 대응되는 분석 결과 구간에 대해서는 기 설정된 형태로 식별 표현되도록 표시출력하는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
또한, 상기 정보 입출력부는 원본 영상을 맵 데이터에 중첩하여 표시출력하되, 원본 영상에서 기 설정된 관심 영역만을 맵 데이터에 중첩하거나, 원본 영상에서 객체 정보만을 맵 데이터에 중첩하여 표시출력하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치가 제공된다.
본 발명에 의하면 서로 다른 위치에 설치되는 영상획득장치로부터 제공되는 다중 분산 영상에 포함된 동일 객체에 대해서 그 궤적 정보를 통합적으로 저장 관리하는 것이 가능함은 물론, 맵 데이터를 이용하여 영상획득장치가 설치되지 않은 영역에 대해서도 해당 객체의 이동 경로를 신뢰성 있게 예측함으로써, 객체에 대한 연속적인 궤적정보를 확보할 수 있다.
또한, 일정 형태의 객체 모델을 이용하여 다수의 분산된 영상 획득 장치의 영상에 포함된 객체들에 대한 객체 상태 및 객체들간의 관계를 보다 신속하게 분석할 수 있다.
도1은 본 발명에 따른 다중 분산 영상 데이터 분석 장치의 구성을 설명하기 위한 개념도.
도2는 도1에 도시된 다중 영상 분석장치(200)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 다중 영상 처리부(230)에서 생성되는 다중 영상 객체정보의 데이터 구조를 나타낸 도면.
도4는 도2에 도시된 다중 영상 분석부(250)에서 처리되는 분산처리 기능을 모듈화하여 나타낸 도면.
도5는 도2에 도시된 다중 영상 처리부(230)에서 수행되는 객체정보 생성방법을 설명하기 위한 도면.
도6 내지 도8은 도2에 도시된 다중 영상 분석부(250)에서 수행되는 객체상태 분석방법을 설명하기 위한 도면.
도12와 도13는 도2에 도시된 정보 입출력부(260)에서 영상분석정보를 입출력하기 위한 화면 구성을 예시한 도면.
도14은 도2에 도시된 다중 영상 분석 장치(200)의 동작을 설명하기 위한 흐름도.
도15은 도14에서 정보 입출력부(260)를 통해 표시출력되는 다중 영상 출력화면을 예시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도1은 본 발명에 따른 다중 분산 영상 데이터 분석 장치의 구성을 설명하기 위한 개념도로서, 다수의 영상획득장치(100)가 다중 영상 분석 장치(200)와 결합되어 구성된다.
영상획득장치(100)는 서로 다른 위치에 설치되어 서로 다른 영역을 촬영하는 다수의 CCTV 카메라 또는 차량의 블랙박스 등과 같이 일정 영역에 대한 영상을 촬영하는 각종 형태의 장치가 될 수 있다.
그리고, 다중 영상 분석 장치(200)는 영상획득장치(100)의 촬영 방향, 촬영 각도 등을 포함하는 촬영 환경을 변경 설정할 수 있다. 이에, 영상획득장치(100)는 촬영된 영상데이터와 함께 자신의 촬영 영역을 포함하는 영상 인덱스정보를 다중 영상 분석 장치(200)로 제공할 수 있다. 영상 인덱스정보는 영상획득장치 식별자별 영상 촬영 시작시간과 종료시간 및 촬영 영역정보를 포함한다.
다중 영상 분석 장치(200)는 다수의 영상획득장치(100)로부터 제공되는 다중 분산 영상들을 맵 데이터와 연동하여 실시간 표시 출력함과 더불어, 영상획득장치(100)가 설치되지 않는 영역에 대해서도 객체에 대한 이동 위치를 예측하여 연속적인 객체 위치를 획득한다.
또한, 다중 영상 분석 장치(200)는 서로 다른 영상획득장치(100)로부터 제공되는 분산 영상에서 나타난 동일 객체에 대해 하나의 객체 식별자를 부여하여 객체 정보를 통합적으로 관리한다. 그리고, 다중 영상 분석 장치(200)는 객체의 형상을 간략화된 형태의 객체 모델로 관리하며, 이러한 객체 모델을 이용하여 단일 객체에 대한 분석 및 서로 다른 객체간의 관계 분석처리를 수행한다.
또한, 다중 영상 분석 장치(200)는 사용자에 의해 설정된 분석 조건에 대응하여 영상을 맵 데이터에 연동하여 표시출력함과 더불어, 사용자에 의해 요구되는 특정 영상 프레임에 대해서는 분석 결과에 대응되는 부분을 시각적으로 강조되도록 표현하여 가시화한다.
도2는 도1에 도시된 다중 영상 분석 장치(200)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도2에 도시된 바와 같이, 다중 영상 분석 장치(200)는 영상 수집부(210)와, 객체정보 추출부(220), 다중 영상 처리부(230), 데이터 저장소(240), 다중 영상 분석부(250) 및, 정보 입출력부(260)를 포함하여 구성된다.
영상 수집부(210)는 다수의 영상획득장치(100)로부터 해당 촬영영역에 대한 CCTV 영상 등 다양한 형태의 동영상 데이터를 실시간으로 수집한다.
객체정보 추출부(220)는 상기 영상 수집부(210)로부터 제공되는 각 영상 데이터에서 프레임 단위로 객체 기본 정보를 추출한다. 객체 기본정보는 객체 식별자별 프레임 번호와 객체 모델 정보, 객체종류 및 객체 상세정보를 포함한다. 이때, 객체정보 추출부(220)는 데이터 저장소(240)의 객체 온톨로지 저장부(243)를 참조하여 객체 종류 및 객체 상세정보를 설정한다. 또한, 객체 모델정보는 객체 형태에 기반하여 다각형 형태로 간략화되어 객체를 대신하는 것으로, 최소경계사각형(MBR : Minimum Bounding Rectangle)로 나타낼 수 있다. 이러한 객체 기본 정보는 상기 영상 획득장치(100)로부터 제공되어질 수도 있고, 객체정보 추출부(220)에서 새롭게 생성하는 것도 가능하다.
다중 영상 처리부(230)는 상기 영상 수집부(210)로부터 인가되는 원본 영상데이터를 영상획득장치별 프레임번호 단위로 데이터 저장소(400)에 저장한다. 그리고, 영상 수집부(210)로부터 인가되는 원본 영상을 정보 입출력부(260)로 제공하여 실시간 표시출력하도록 한다.
또한, 다중 영상 처리부(230)는 객체정보 추출부(200)로부터 제공되는 객체 기본정보에 포함된 프레임 번호와 데이터 저장소(400)에 저장된 원본 영상의 시간정보를 이용하여 해당 객체에 대한 시간 정보를 생성함과 더불어, 이를 기초로 다수의 영상 즉, 다중 영상에서 동일 객체를 추출한다.
그리고, 다중 영상 처리부(230)는 동일 객체에 대해 하나의 객체 식별자를 부여함과 더불어, 다중 영상에서 시간 순서에 따른 객체의 궤적정보를 추출한다. 즉, 다중 영상 처리부(230)는 객체 식별자별 다중 영상에 대한 궤적정보를 포함하는 다중 영상 객체정보를 생성하고, 이를 데이터 저장소(240)에 저장한다. 이때, 궤적 정보는 객체 모델이 나타난 프레임 수에 대응하여 가변되는 구조로 구성된다. 다중 영상 객체정보는 도3에 도시된 바와 같이 객체 식별자별 객체종류와, 객체 상세정보, 시작시간, 종료시간, 전체 궤적개수, 객체궤적정보를 포함하여 구성된다. 여기서, 전체 궤적 개수는 객체 모델이 나타난 프레임 개수를 나타내고, 객체 궤적정보는 영상획득장치 식별자별 시작시간과 종료시간, 객체 MBR개수(n), 시간과 MBR 순번으로 이루어지는 n 개의 객체 추출정보를 포함하여 구성된다.
데이터 저장소(240)는 본 발명에 따른 다중 영상 분석을 위한 각종 정보가 저장되는 장치로서, 별도의 데이터 베이스 등의 저장소 형태로 구현될 수 있다.
데이터 저장소(240)는 영상획득장치 정보저장부(241)와, 맵 데이터 저장부(242), 객체 온톨로지 저장부(243), 원본 영상데이터 저장부(244) 및, 객체정보 저장부(245)를 포함하여 구성된다. 이때, 상기 원본 영상데이터 저장부(244)는 별도의 저장소로 구현될 수 있다.
영상획득장치 정보 저장부(241)는 장치 식별자별 설치 위치와, 초당 프레임 수를 포함하는 장치 기본정보 테이블과, 장치 식별자별 촬영 시작시간과 촬영 종료시간 및 촬영 영역정보를 포함하는 장치 영상정보 테이블을 포함한다. 상기 맵 데이터 저장부(242)에는 공간에 대한 시설물 등을 포함하는 지리정보 즉, 맵 데이터가 저장된다. 상기 객체 온톨리지 저장부(243)는 객체 관련 정보를 정의하기 위한 관계정보가 저장된다. 예컨대 버스, 택시, 승용차에 대해서는 객체 종류를 "차량"으로 설정하도록 관계가 정의 된다. 상기 원본 영상데이터 저장부(244)에는 장치식별자별 영상 프레임번호에 대한 영상 원본 데이터가 저장된다. 상기 객체정보 저장부(245)에는 상기 다중 영상 처리부(230)에서 생성된 다중 영상 객체정보가 저장된다.
다중 영상 분석부(250)는 분석 조건에 대응되는 분석 결과정보를 생성하여 상기 정보 입출력부(700)로 제공한다. 이때, 다중 영상 분석부(250)는 다중 영상 처리부(230)로 제공되는 실시간 원본 영상에 대해 기 설정된 분석 조건에 대응되는 분석 결과를 생성하거나 또는 데이터 저장소(240)에 기 저장된 정보를 근거로 분석 조건에 대응되는 분석 결과를 생성한다. 또한, 정보 입출력부(260)로부터 분석요청되는 프레임 번호에 대응되는 영상에 대한 분석처리를 수행하고, 그 분석결과정보를 정보 입출력부(260)로 제공한다.
또한, 다중 영상 분석부(250)는 도4에 도시된 바와 같이 네트워크 분석모듈(251)과, 단일 객체 분석모듈(252) 및, 객체 관계 분석모듈(253)을 포함하여 구성된다. 네트워크 분석모듈(251)은 맵 데이터와 연동하여 영상획득장치(100)가 설치되지 않은 구간에 대한 객체의 위치를 예측한다. 단일 객체 분석모듈(252)은 인접 프레임에서의 객체에 대한 움직임 변화를 분석한다. 객체 관계 분석모듈(253)은 동일 프레임에 존재하는 서로 다른 객체간의 상태 변화를 분석한다.
정보 입출력부(260)는 사용자와의 인터페이스를 수행하기 위한 것으로, 사용자에 의해 입력되는 영상획득장치 정보 및 맵 데이터와 객체 온톨로지정보를 데이터 저장소(400)에 미리 등록 저장함과 더불어, 사용자에 의해 입력되는 분석 조건을 설정한다. 그리고, 정보 입출력부(260)는 다중 영상 처리부(230)로부터 제공되는 실시간 영상을 맵 데이터와 연동하여 실시간 표시출력함과 더불어, 사용자에 의한 분석요청에 대응되는 프레임 번호를 다중 영상 분석부(250)로 제공하고, 이에 대해 다중 영상 분석부(250)로부터 제공되는 프레임 영상에 분석 결과가 식별되도록 표현하여 표시출력한다.
이어, 도2에 도시된 다중 영상 처리부(230)와, 다중 영상 분석부(250) 및 정보 입출력(260)의 구성을 도5 내지 도9를 참조하여 보다 상세히 설명한다.
도5는 도2에 도시된 다중 영상 처리부(230)에서 수행되는 객체정보 생성방법을 설명하기 위한 도면이다.
"객체 A" 가 Ti -> Tj -> Tk -> Tm 시간에 도5에 도시된 바와 같은 경로로 이동하는 경우, 제1 영상획득장치와 제2 영상 획득장치의 촬영영역에서 촬영된 서로 다른 영상에는 동일 객체 A가 존재하게 된다.
상기한 상황에 대해 객체정보 추출부(220)는 제1 및 제2 영상획득장치에 대해 서로 다른 객체 식별자를 부여하고, 해당 영상에 대한 프레임 번호와 객체 모델정보, 객체 종류 및, 객체 상세정보를 포함하는 객체 기본 데이터를 생성하여 다중 영상 처리부(230)로 제공한다. 즉, 제1 영상획득장치와 제2 영상획득장치별로 동일 객체 A에 대해 서로 다른 객체 식별자를 갖는 제1 및 제2 객체 기본데이터가 다중 영상 처리부(230)로 각각 제공된다.
다중 영상 처리부(230)는 제1 및 제2 객체 기본 데이터를 근거로 데이터 저장소(240)의 영상획득장치 정보저장부(241)에서 해당 영상획득장치에 대한 정보를 호출하고, 객체 기본 데이터와 영상획득장치 정보를 맵데이터와 연동하여 분석함으로써, 제1 및 제2 영상에서의 객체가 동일 객체A 임을 판단한다. 즉, 다중 영상 처리부(230)는 해당 공간 영역을 포함하는 맵 데이터에서 객체 이동 방향 및 이동로(예컨대, 도로)을 근거로 해당 위치의 영상처리획득장치 영상을 순차적으로 호출함으로써, 제1 및 제2 영상획득장치의 서로 다른 촬영 영역에서의 객체 A에 대한 동일성 및 이동 경로(도5의 TL)에 대응되는 궤적 정보를 생성할 수 있다.
그리고, 다중 영상 처리부(230)는 데이터 저장소(240)의 객체정보 저장부(245)에 객체 A에 대한 객체 레코드가 존재하는지를 확인하여 객체 A에 대한 객체 레코드가 존재하는 경우에는 해당 객체 레코드에 궤적 정보를 추가한다. 반면, 객체 A에 대한 객체 레코드가 존재하지 않는 경우에는 도4에 도시된 바와 같은 신규 객체 레코드를 추가로 생성하여 데이터 저장소(240)의 객체정보 저장부(245)에 저장한다.
도6 내지 도8은 도2에 도시된 다중 영상 분석부(250)에서 수행되는 객체상태 분석방법을 설명하기 위한 도면이다. 여기서, 도6은 네트워크 분석모듈(251)에서의 궤적 추적 방법을 설명하기 위한 도면이고, 도7와 도8는 단일 객체 분석모듈(252)에서의 단일 객체에 대한 분석예를 나타낸 도면이며, 도9 내지 도11는 객체 관계 분석모듈(253)에서의 객체간 관계에 대한 분석예를 나타낸 도면이다.
네트워크 분석모듈(251)은 계산하고자 하는 시간의 전 후 객체 모델(MBR)정보를 이용하여 분석 대상 객체에 대해 객체 정보 저장부(245)에 저장되어 있지 않은 시간에 대한 위치를 예측한다. 먼저, 네트워크 분석모듈(251)은 인접 시간에 대한 객체 정보간의 시간 간격을 판단하고, 시간 간격이 기준 프레임 단위시간 보다 큰 경우, 해당 공간의 맵 데이터와 전 후 시간의 객체 모델을 이용하여 그 사이에 해당하는 시간에서의 분석 대상 객체에 대한 위치를 결정한다.
예컨대, 초당 30 프레임 단위의 동영상에 대해 1/30초 간격의 객체 정보가 저장되는 시스템에서, 객체 종류가 자동차이고, 객체정보 저장부(245)에 Ti 시간 에서의 객체 모델(MBRi)과, Tk 시간에서의 객체 모델(MBRk)에 대한 객체 정보만이 존재하는 경우, 네트워크 분석모듈(251)은 도5에 도시된 바와 같이 해당 공간의 맵 데이터에 해당 객체 모델(MBRi,MBRk)을 매핑시키고, 맵 데이터의 도로 데이터와 객체의 이동 방향을 근거로 Ti 와 Tk 사이의 Tj 시간에서의 해당 객체의 위치를 산출할 수 있다. 이때, 네트워크 분석모듈(251)은 객체의 이동속도를 근거로 Tj 시간에서의 해당 객체의 위치를 보다 정확하게 예측할 수 있다.
상기 단일 객체 분석모듈(252)은 객체 모델(MBR)을 이용하여 인접한 프레임에서의 해당 객체의 상태 변화를 분석한다. 이에 따라 객체에 대한 점 데이터 비교를 통해 객체 변화를 판단하는 방법에 비해 보다 신속하게 객체의 상태 변화 즉, 움직임을 판단하는 것이 가능하다.
단일 객체 분석모듈(252)은 도7에 도시된 바와 같이 분석 대상 객체에 대한 인접 시간 프레임에서의 객체 모델(MBR) 중심점의 각도를 연산하여 객체 움직임을 분석한다. 단일 객체 분석모듈(252)은 인접 시간에 대한 적어도 세 개 이상의 프레임에서의 동일 객체 모델(MBRi, MBRj, MBRk)의 각 중심점(Ci,Cj, Ck)이 이루는 각도(θ)가 일정 크기 이상인 경우, 분석 대상 객체가 급격하게 움직인 것으로 판단한다.
또한, 단일 객체 분석모듈(252)는 도8에 도시된 바와 같이 인접 시간 프레임에서의 객체 모델(MBRi, MBRj)의 형태 변화 비율을 연산하여 객체 움직임을 분석할 수 있다. 단일 객체 분석모듈(252)은 이전 프레임에서의 객체 모델(MBRi) 의 가로(Wi)와 세로(Hi) 크기와 현재 프레임에서의 객체 모델(MBRj)의 가로(Wi)와 세로(Hj) 크기를 각각 비교하여 가로와 세로에 대한 비율 변화가 일정 크기 이상인 경우 분석 대상 객체의 움직임이 급격한 것으로 판단한다.
객체 관계 분석부(253)는 도9에 도시된 바와 같이 동일 프레임에 존재하는 서로 다른 이동 객체 모델들(MBR1, MBR2)의 중첩되는 면적(MBRx)을 연산함으로써, 객체 관계를 분석한다. 이때, 도9에 나타난 바와 같이, 객체 모델들(MBR1, MBR2) 사이에는 겹치는 면적(MBRx)이 존재하나, 실제 객체(MBR1 의 트럭, MBR2의 승용차) 들은 겹쳐지 않는 경우가 발생될 수 있다. 이를 고려하여, 객체 관계 분석부(253)는 중첩되는 면적(MBRx)이 일정 크기 이상인 경우에 객체들이 겹치는 것 즉, 객체들간의 충돌이 발생한 것으로 판단할 수 있다.
또한, 객체 관계 분석부(253)는 도10에 도시된 바와 같이 동일 프레임에 존재하는 서로 다른 이동 객체 모델들(MBR1, MBR2)의 중심점 거리 연산을 통해 객체 관계를 분석할 수 있다. 도10에서 (a)는 제1 객체 모델(MBR1)과 제2 객체 모델(MER2)이 최소로 겹치는 경우로서 기준 중심점 거리(L0)를 갖는다. 그리고 도10에서 (b)와 (c)는 제1 객체 모델(MBR1)과 제2 객체 모델(MER2)의 일부가 겹치는 경우로서, 이들은 기준 중심점 거리(L0)보다 짧은 거리값을 갖는 제1 중심점 거리(L1)와 제2 중심점 거리(L2)를 갖는다. 즉, 객체 관계 분석부(253)는 제1 객체 모델(MBR1)과 제2 객체 모델(MBR2)이 만나는 경우의 기준 중심점 거리(L0, (a)) 보다 일정 크기 이상 작은 중심점 거리를 갖는 경우 제1 객체와 제2 객체가 충돌하는 것으로 판단한다.
또한, 객체 관계 분석부(253)는 서로 다른 두 객체가 서로 다가가는 상태를 분석할 수 있다. 두 객체가 다가간다는 것은 인접한 시간에서 두 객체의 거리가 가까워지는 것을 의미한다. 즉, 객체 관계 분석부(253)는 도11에서 이전 프레임에서 제1 객체 모델(MBR1)과 제2 객체 모델(MER2)의 외곽을 포함하는 외곽 모델(MBR3-1)의 면적과, 현재 프레임에서의 제1 객체 모델(MBR1)과 제2 객체 모델(MER2)의 외곽을 포함하는 외곽 모델(MBR3-2)의 면적을 비교하여, 이전 프레임에서의 외곽 모델(MBR3-1)의 면적보다 현재 프레임에서의 외곽 모델(MBR3-1)의 면적이 작아지는 경우, 제1 객체와 제2 객체가 서로 다가가는 상태로 분석한다. 이때, 객체 관계 분석부(253)는 제1 객체 모델(MBR1)과 제2 객체 모델(MBR2)간의 중심점 거리가 기준 중심점 거리 보다는 큰 상태이면서, 시간 경과에 따라 중심점 거리가 점점 짧아지는의 여부를 추가적으로 판단할 수 있다. 그리고, 객체 관계 분석부(253)는 두 객체 모델(MBR1, MBR2)의 외곽을 포함하는 외곽 모델(MBR3)의 면적이 점점 작아지면서, 두 객체 모델(MBR1, MBR2)간의 중심점 거리가 점점 짧아지는 경우, 제1 객체와 제2 객체가 서로 다가가는 상태로 판단할 수 있다.
도12 와 도13는 정보 입출력부(260)의 화면 구성을 설명하기 위한 도면으로, 영상분석정보를 입출력하기 위한 화면을 예시한 것이다.
도12를 참조하면, 정보 입출력부(260)는 분석조건 입력항목(261)과 프레임 선택 항목(262), 분석결과 인덱스창(263) 및, 영상 표시창(264)을 포함한다.
분석조건 입력항목(261)은 분석조건과 영상 표시창(264)을 통해 출력할 영상의 시작시간 및 종료시간 설정을 위한 메뉴로 이루어진다. 이러한 분석조건 입력항목(261)에 의해 설정된 정보는 영상정보 분석부(250)로 제공된다. 그리고, 영상정보 분석부(250)는 영상 시작시간과 종료시간에 대응되는 원본 영상을 데이터 저장소(240)에서 호출하여 영상 표시창(264)을 통해 표시출력함과 더불어, 해당 범위의 원본 영상에서 분석 조건을 만족하는 프레임을 분석하고, 그 분석 결과에 해당하는 프레임번호들로 이루어지는 분석 인덱스 정보를 생성하여 분석결과 인덱스창(263)을 통해 표시출력한다.
프레임 선택항목(262)은 수평방향으로 슬라이드 이동되는 설정 바를 이동 후 정지시킴으로써, 설정 바 위치에 대응되는 시간의 프레임 영상을 선택할 수 있다. 이때, 정보 입출력부(260)는 설정 바 위치에 대응되는 프레임 번호를 영상정보 분석부(250)로 제공한다.
분석결과 인덱스창(263)은 프레임 선택 항목(262)의 위치에 대응하여 의미 있는 분석결과가 존재하는 구간을 표시한다.
영상 표시창(264)은 원본 영상을 맵 데이터와 연동하여 표시출력함과 더불어, 상기 프레임 선택항목(262)에 의해 설정된 시간의 영상 프레임을 표시출력한다. 이때, 영상 프레임 표시출력함에 있어서, 사용자에 의해 설정된 분석 조건을 만족하는 객체에 대해서는 도13에 도시된 바와 같이 유색(P1) 또는 사각형의 외곽선(P2) 형태로 색인화하여 표시출력한다. 이때, 객체가 서로 다가가는 결과와 충돌결과에 대해서는 서로 다른 형태로 식별 표현될 수 있다.
이어, 도14에 도시된 흐름도를 참조하여 도1에 도시된 다중 분산 영상 데이터 분석 장치의 동작을 설명한다.
먼저, 사용자는 정보 입출력부(260)를 통해 영상획득장치(100)에 대한 설치 위치 및 초당 프레임수를 포함하는 기본정보 및 맵 데이터를 데이터 저장소(240)에 저정하는 일련의 정보 등록절차를 수행한다(ST10). 이때, 상기한 영상획득장치에 대한 장치 기본정보는 영상획득장치와 연결된 상태에서 직접 제공받을 수 있고, 맵 데이터 역시 맵 데이터를 제공하는 공간정보제공서버와 연결되어 직접 제공받을 수 있다.
상술한 바와 같이 서로 다른 위치에 설치된 다수의 영상획득장치(100)에 대한 등록이 수행됨과 더불어, 등록된 영상획득장치(100)와 통신 연결된 상태에서, 영상 수집부(210)는 다수의 영상획득장치(100)로부터 제공되는 다수의 영상 즉, 다중 영상을 실시간 수집하고, 이를 데이터 저장소(240)에 저장한다.
또한, 영상 수집부(210)는 영상획득장치(100)로부터 실시간 제공되는 원본 영상을 다중 영상 처리부(230)로 제공하고, 다중 영상 처리부(230)는 실시간 다중 원본 영상을 정보 입출력부(260)로 제공하여 맵데이터상에 가시화하여 표시출력한다(ST20). 도15은 정보 입출력부(260)를 통해 표시출력되는 다중 영상 출력화면을 예시한 도면이다. 도15에 도시된 바와 같이 다중 영상은 맵 데이터상에 영상획득장치(100)의 각 촬영 영역에 해당하는 영상(X)을 합성하여 표시출력한다. 이때, 다중 영역은 촬영 영역에 해당하는 영상(X) 중 기 설정된 관심 영역, 예컨대 도로(Y)영역만이 맵 데이터상에 중첩되는 형태로 표시출력될 수 있다. 또한, 다중 영역은 촬영 영역에 해당하는 영상(X) 중 객체(Z), 예컨대 자동차만을 맵 데이터상에 중첩되는 형태로 표시출력될 수 있으며, 객체(Z)는 MBR 형태의 객체 모델 또는 객체 실제 형상으로 표현될 수 있다.
한편, 영상 수집부(210)는 원본 영상 데이터를 객체정보 추출부(220)로 제공하고, 객체정보 추출부(220)는 각 프레임에서 의미 있는 객체 정보를 추출함과 더불어, 이에 대한 객체 기본정보를 생성한다(ST30). 객체정보 추출부(220)는 추출된 객체에 대해 객체 식별자를 부여하고, 객체 식별자에 대해 프레임번호와 객체 모델(MBR)정보, 객체 종류, 및 객체 상세 정보를 포함하는 객체 기본 정보를 생성한다. 객체 기본정보는 영상획득장치(100)별로 각각 생성된다.
객체정보 추출부(220)는 영상획득장치별로 생성된 각 객체 기본 정보를 다중 영상 처리부(250)로 제공하고, 다중 영상 처리부(250)는 객체정보 추출부(220)로부터 제공되는 다수의 객체 기본정보를 근거로 다중 영상 객체정보를 생성함과 더불어, 이를 데이터 저장소(240)에 저장한다(ST40).
이때, 다중 영상 처리부(250)는 객체 기본정보를 맵 데이터에 연동시킴으로써, 서로 다른 영상획득장치(100)의 객체 기본정보에서 동일 객체를 판단하고, 동일 객체에 대해 하나의 객체 식별자를 부여함과 더불어, 객체 기본정보들을 근거로 객체 궤적정보를 포함하는 다중 영상 객체정보를 생성한다. 이때, 객체 궤적정보는 객체의 이동 범위에 대응하여 해당 이동 범위 내에 위치하는 영상획득장치(100)의 영상정보를 모두 포함한다.
한편, 다중 영상 분석부(250)는 데이터 저장소(240)에 저장된 다중 영상 객체정보를 이용하여 기 설정된 분석 조건에 대응되는 다중 영상 객체를 분석한다(ST50). 다중 영상 분석부(250)는 객체 모델을 이용하여 단일 객체에 대한 상태 변화에 따른 분석처리를 수행하거나, 동일 프레임에서 서로 다른 객체간 거리 또는 면적에 대한 객체간 관계 분석처리를 수행한다. 이때, 분석 조건은 사용자에 의해 기 설정될 수 있으며, 예컨대, 객체의 움직임 크기가 일정 이상이거나, 서로 다른 객체가 일정 범위로 가까워 지거나 또는 서로 다른 객체가 충돌하는 경우 등으로 설정될 수 있다.
다중 영상 분석부(250)는 분석 조건에 대응되는 다중 영상 객체가 존재하는 프레임번호를 시간축상에 배치함으로써, 분석 인덱스 정보를 생성하고, 이를 정보 입출력부(260)의 분석결과 인덱스창(263)을 통해 표시출력한다(ST60).
그리고, 사용자에 의해 선택된 분석 인덱스에 대응되는 프레임 번호에 해당하는 분석영상을 영상 표시창(264)을 통해 표시출력한다(ST70). 이때, 분석 영상은 해당 프레임 영상에서 분석 결과에 해당하는 영역이 시각적으로 용이하게 인식되도록 식별 표현되어 출력된다.
상기한 상태에서, 사용자가 정보 입출력화면의 분석조건 설정항목(261)을 이용하여 분석요구정보가 입력되면(ST80), 분석조건에 대응되는 영역 및 시간에 해당하는 다중 영상 데이터를 데이터 저장소(240)에서 호출함과 더불어, 해당 영역의 맵데이터를 데이터 저장소(240)에서 호출하여 도5와 같은 형태로 가시화하여 표시출력한다(ST90).
이때, 다중 영상 분석장치(200)는 상기 ST80 단계에서 설정된 분석 조건에 대응되는 다중 영상을 데이터 저장소(240)에서 호출하고, 호출된 다중 영상에서 분석 조건을 만족하는 분석 결과를 근거로 분석 인덱스 정보를 생성하여 표시출력함과 더불어, 사용자에 의해 선택된 분석 인덱스 위치에 대응되는 프레임 번호의 분석 영상을 표시출력하는 일련의 동작을 수행한다.

Claims (9)

  1. 서로 다른 위치에 설치되어 서로 다른 촬영 영역에 대한 영상 데이터를 제공하는 다수의 영상획득장치와,
    다수의 영상획득장치로부터 제공되는 서로 다른 영역에 대한 원본 영상을 정보 입출력부로 제공함과 더불어, 데이터 저장소에 저장하고, 서로 다른 영상획득장치로부터 제공되는 각 원본 영상에 존재하는 동일 객체에 대하여 하나의 객체 식별자를 부여하며, 객체 식별자에 대해 해당 객체 표현을 위한 객체 모델 및, 영상획득장치별 이동 경로에 대한 궤적정보를 포함하는 다중 영상 객체정보를 생성하여 데이터 저장소에 저장하는 다중 영상 처리부,
    맵 데이터와, 상기 다중 영상 처리부에서 생성되는 다중 영상 객체정보 및, 상기 영상획득장치로부터 제공되는 원본 영상을 포함하는 다중 영상 분석을 위한 정보가 저장되는 데이터 저장소,
    영상 데이터에서 객체에 대한 객체 모델을 이용하여 기 설정된 분석 조건에 대응되는 분석처리를 수행하고, 분석 결과를 정보 입출력부로 제공하는 다중 영상 분석부 및,
    사용자에 의한 분석 조건 설정 및 특정 프레임 영상 선택을 위한 입력환경을 제공하고, 원본 영상을 맵데이터의 해당 촬영 영역에 합성하여 표시출력함과 더불어, 사용자에 의해 선택된 프레임 영상을 표시 출력하는 정보 입출력부를 포함하여 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
  2. 제1항에 있어서,
    상기 데이터 저장소에는 영상획득장치 위치 및 촬영 영역을 포함하는 영상 획득장치정보가 저장되고,
    상기 다중 영상 처리부는 원본 영상에 대한 프레임 번호별 객체 모델을 포함하는 객체 기본정보와 영상획득장치의 위치 및 영상 촬영영역에 기초하여 원본 영상을 맵 데이터에 연동시켜 시간 경과에 따른 임의 객체에 대한 이동 경로를 예측하고, 예측된 이동 경로에 대응하여 타 영상획득장치의 원본 영상을 추가적으로 맵데이터에 연동함으로써, 임의 객체에 대하여 다수 영상획득장치에 대한 원본 영상에 존재하는 객체들간의 동일성을 판단하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 다중 영상 처리부는 다수의 영상획득장치의 영상에 존재하는 동일 객체에 대해 하나의 객체 식별자를 부여하고, 객체 식별자별 객체종류와, 객체 상세정보, 영상 시작시간, 영상 종료시간, 전체 궤적개수 및, 객체궤적정보를 포함하는 다중 영상 객체정보를 생성하되,
    상기 전체 궤적 개수는 객체 모델이 나타난 프레임 개수로서, 각 객체 궤적정보는 영상획득장치 식별자별 영상 시작시간과 영상 종료시간, 객체 모델 개수 및, 시간과 객체 모델로 이루어지는 객체 추출정보를 포함하여 구성되며,
    상기 객체 추출정보는 객체 모델 개수에 대응하여 가변되는 구조로 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
  4. 제1항에 있어서,
    상기 다중 영상 분석부는 맵 데이터와 연동하여 영상획득장치가 설치되지 않은 구간에 대한 객체의 위치를 예측하는 네트워크 분석모듈을 포함하여 구성되고,
    상기 네트워크 분석모듈은 기 저장된 인접 프레임 사이의 시간 간격이 기준 프레임 단위 시간 이상인 경우, 맵 데이터에 해당 프레임들을 배치시킨 상태에서 객체의 이동 방향 및 이동로를 근거로 영상획득장치가 존재하지 않는 영역에 대한 객체 위치를 예측하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
  5. 제1항에 있어서,
    상기 다중 영상 분석부는 객체 모델을 이용하여 인접한 프레임에서의 분석 대상 객체의 움직임 상태를 분석하는 단일객체 분석모듈을 포함하여 구성되고,
    상기 단일객체 분석모듈은 분석 대상 객체에 대한 인접 시간 프레임에서의 객체 모델 중심점의 각도를 근거로 객체 움직임 정도를 판단하거나, 인접 시간 프레임에서의 객체 모델의 가로와 세로의 형태 변화 비율을 근거로 객체 움직임 정도를 판단하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
  6. 제1항에 있어서,
    상기 다중 영상 분석부는 동일 프레임에 존재하는 서로 다른 객체에 대한 객체 모델들의 중첩 면적의 정도를 근거로 객체들간의 충돌 여부를 판단하거나, 동일 프레임에 존재하는 서로 다른 객체 모델간의 중심점 거리가 객체 모델이 최소로 겹치는 경우의 기준 중심점 거리보다 짧은 정도를 근거로 객체들간의 충돌 여부를 판단하는 객체 관계 분석모듈을 포함하여 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
  7. 제1항 또는 제6항에 있어서,
    상기 다중 영상 분석부는 제1 프레임에서 제1 객체 모델과 제2 객체 모델의 외곽을 포함하는 제1 외곽 모델의 면적과, 제1 프레임과 인접하는 제2 프레임에서의 제1 객체 모델과 제2 객체 모델의 외곽을 포함하는 제2 외곽 모델의 면적을 비교하여, 제1 프레임에서의 제1 외곽 모델의 면적보다 제2 프레임에서의 제2 외곽 모델의 면적이 작아지는 경우, 제1 객체와 제2 객체간의 거리가 가까워지는 것으로 판단하는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
  8. 제1항에 있어서,
    상기 다중 영상 분석부는 일정 공간 영역에 해당하는 원본 영상에서 분석 조건을 만족하는 프레임을 분석하고, 그 분석 결과에 해당하는 프레임 번호들이 시간에 대응되게 배치되어 구성되는 분석 인덱스 정보를 생성하여 상기 정보 입출력부로 제공하며,
    정보 입출력부는 기 설정된 시간에 대하여 일정 공간 영역에 대한 원본 영상을 맵 데이터와 연동하여 표시출력함과 더불어, 상기 다중 영상 분석부를 통해 제공되는 해당 출력 원본 영상에 대응되는 분석 인덱스 정보를 일측에 추가로 표시출력하고, 사용자에 의해 선택되는 인덱스 정보 위치에 대응되는 프레임 번호를 근거로 데이터 저장소에서 해당 프레임 번호의 원본 영상을 호출하여 표시출력하되, 프레임 영상에서 기 설정된 분석 조건에 대응되는 분석 결과 구간에 대해서는 기 설정된 형태로 식별 표현되도록 표시출력하는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
  9. 제1항 또는 제8항에 있어서,
    상기 정보 입출력부는 원본 영상을 맵 데이터에 중첩하여 표시출력하되, 원본 영상에서 기 설정된 관심 영역만을 맵 데이터에 중첩하거나, 원본 영상에서 객체 정보만을 맵 데이터에 중첩하여 표시출력하도록 구성되는 것을 특징으로 하는 다중 분산 영상 데이터 분석 장치.
PCT/KR2017/013586 2017-11-24 2017-11-27 다중 분산 영상 데이터 분석 장치 WO2019103208A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170158079A KR102030736B1 (ko) 2017-11-24 2017-11-24 다중 분산 영상 데이터 분석 장치
KR10-2017-0158079 2017-11-24

Publications (1)

Publication Number Publication Date
WO2019103208A1 true WO2019103208A1 (ko) 2019-05-31

Family

ID=66631600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013586 WO2019103208A1 (ko) 2017-11-24 2017-11-27 다중 분산 영상 데이터 분석 장치

Country Status (2)

Country Link
KR (1) KR102030736B1 (ko)
WO (1) WO2019103208A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417273A (zh) * 2020-11-17 2021-02-26 平安科技（深圳）有限公司 区域画像图生成方法、装置、计算机设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102648111B1 (ko) * 2021-12-24 2024-03-18 주식회사 대산시스템 관심 영역 집중 감시 시스템 및 감시 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019090A (ko) * 2009-08-19 2011-02-25 한국전자통신연구원 다중 영상 분석 기반의 객체추출 장치 및 그 방법
WO2013162095A1 (ko) * 2012-04-24 2013-10-31 (주)아이티엑스시큐리티 디브이알 및 그의 영상 감시방법
WO2015072631A1 (ko) * 2013-11-15 2015-05-21 삼성테크윈 주식회사 영상 처리 장치 및 방법
WO2017111257A1 (ko) * 2015-12-23 2017-06-29 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
WO2017150899A1 (ko) * 2016-02-29 2017-09-08 광주과학기술원 전역적 다중 객체 추적을 위한 객체 재식별 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071781A (ko) 2013-12-18 2015-06-29 한국전자통신연구원 궤적변환 기반 이동궤적 모델링 장치 및 방법
KR101612490B1 (ko) * 2014-06-05 2016-04-18 주식회사 다이나맥스 공간중첩을 이용한 cctv 모니터링이 가능한 영상 감시 장치
KR101547255B1 (ko) 2015-05-21 2015-08-25 주식회사 넥스파시스템 지능형 감시 시스템의 객체기반 검색방법
KR101729906B1 (ko) * 2015-06-26 2017-05-04 서울과학기술대학교 산학협력단 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 통계분석장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019090A (ko) * 2009-08-19 2011-02-25 한국전자통신연구원 다중 영상 분석 기반의 객체추출 장치 및 그 방법
WO2013162095A1 (ko) * 2012-04-24 2013-10-31 (주)아이티엑스시큐리티 디브이알 및 그의 영상 감시방법
WO2015072631A1 (ko) * 2013-11-15 2015-05-21 삼성테크윈 주식회사 영상 처리 장치 및 방법
WO2017111257A1 (ko) * 2015-12-23 2017-06-29 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
WO2017150899A1 (ko) * 2016-02-29 2017-09-08 광주과학기술원 전역적 다중 객체 추적을 위한 객체 재식별 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417273A (zh) * 2020-11-17 2021-02-26 平安科技（深圳）有限公司 区域画像图生成方法、装置、计算机设备及存储介质
CN112417273B (zh) * 2020-11-17 2022-04-19 平安科技（深圳）有限公司 区域画像图生成方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
KR20190060161A (ko) 2019-06-03
KR102030736B1 (ko) 2019-10-10

Similar Documents

Publication Publication Date Title
WO2020141683A1 (ko) 영상 기반의 교통 정보 제공 시스템 및 그 방법
WO2013115470A1 (en) Integrated control system and method using surveillance camera for vehicle
WO2014051262A1 (ko) 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2014193065A1 (en) Video search apparatus and method
KR101688218B1 (ko) 객체 인지 기반의 실시간 영상 검지 기술을 이용한 교통 흐름 및 돌발 상황 관리 시스템 및 그 처리 방법
WO2022145626A1 (ko) 공항의 교통관제 지원정보 생성장치 및 이를 포함하는 공항의 교통관제 지원장치
WO2017034177A1 (ko) 이종 카메라로부터의 영상을 이용하여 불법 주정차 단속을 수행하는 단속 시스템 및 이를 포함하는 관제 시스템
WO2019240340A1 (ko) 카메라를 이용하여 차량의 속도 측정이 가능한 과속 안내 장치 및 그 동작 방법
WO2021085771A1 (ko) 하이브리드 교통신호제어시스템 및 그 방법
WO2016074123A1 (zh) 一种视频生成系统的视频生成方法及装置
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2017188523A1 (ko) 운송 수단의 번호판 인식을 이용한 교통 정보 빅데이터 운용 시스템, 이를 위한 서버 및 이를 위한 사용자 단말기
WO2016133234A1 (ko) 동적으로 할당되는 카메라 영상을 분석하는 영상 분석 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2019103208A1 (ko) 다중 분산 영상 데이터 분석 장치
WO2016208870A1 (ko) 차량 번호 판독 장치 및 그 방법
JP5634222B2 (ja) 通行車両監視システム及び車両用監視カメラ
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
WO2020141694A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
KR20200094818A (ko) 인공지능 기반 차량 검색 시스템
WO2014107071A1 (ko) Gis 기반의 경로 이동에 따른 cctv 관제 시스템 및 그 방법
WO2015080468A1 (ko) 차량 위치 제공 장치, 그리고 그를 이용한 주차 위치 안내 시스템 및 주차 위치 안내 방법
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17932854

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17932854

Country of ref document: EP

Kind code of ref document: A1