WO2014051337A1 - 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법 - Google Patents

복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법 Download PDF

Info

Publication number
WO2014051337A1
WO2014051337A1 PCT/KR2013/008592 KR2013008592W WO2014051337A1 WO 2014051337 A1 WO2014051337 A1 WO 2014051337A1 KR 2013008592 W KR2013008592 W KR 2013008592W WO 2014051337 A1 WO2014051337 A1 WO 2014051337A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
rule
interest
event rule
image
Prior art date
Application number
PCT/KR2013/008592
Other languages
English (en)
French (fr)
Inventor
조영관
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201380049910.2A priority Critical patent/CN104704816B/zh
Priority to EP13840942.0A priority patent/EP2903261B1/en
Publication of WO2014051337A1 publication Critical patent/WO2014051337A1/ko
Priority to US14/667,552 priority patent/US9639937B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene

Definitions

  • the present embodiment relates to an apparatus and a method for detecting an event from a plurality of captured images. More specifically, one event rule for a composite image obtained by synthesizing a plurality of captured images is converted into individual event rules using a conversion function corresponding to the coordinate system of the plurality of cameras, and determined based on the individual event rules. An apparatus and method for detecting an event from a plurality of captured images for detecting a plurality of individual events as a single event using a predetermined conversion function.
  • the general video security system sets an event rule for each camera installed and detects each event based on the set event rule, so that even an event according to an object can be detected as a plurality of events. There is a problem in that a process and processing time for determining that a plurality of events are the same event are increased.
  • one event rule for a composite image obtained by synthesizing a plurality of captured images is converted into an individual event rule using a conversion function corresponding to the coordinate system of the plurality of cameras, and determined based on the individual event rule.
  • An object of the present invention is to provide an apparatus and a method for detecting an event from a plurality of captured images for detecting a plurality of individual events as a single event using a predetermined conversion function.
  • the image receiving unit for receiving a photographed image taken by a plurality of cameras;
  • An image synthesizer for synthesizing the plurality of captured images into a single main image using a conversion function corresponding to the coordinate system of the camera;
  • An event rule obtaining unit obtaining an event rule with respect to the main image;
  • An individual event rule generator for converting the event rule into an individual event rule corresponding to each of the cameras using the conversion function;
  • a rule transmitter for transmitting the converted individual event rule to detect an event.
  • the image receiving unit for receiving a captured image photographed through a plurality of cameras;
  • a rule receiver configured to receive an event rule for determining whether a predetermined event is generated for the composite image of the plurality of captured images and an individual event rule for which the event rule is converted using a conversion function corresponding to the coordinate system of the plurality of cameras;
  • An object of interest extraction unit which extracts an object of interest from the photographed image;
  • An individual event determination unit determining whether the trajectory information of the object of interest corresponds to an individual event based on the individual event rule;
  • An event detector configured to generate inverse transform locus information of the object of interest using the transform function, and determine and detect one event when a plurality of inverse transform locus information satisfies the event rule;
  • an event output unit for generating output information according to the detected event.
  • an image receiving process for receiving a captured image photographed through a plurality of cameras; An image synthesizing process of synthesizing the plurality of captured images into a single main image using a conversion function corresponding to the coordinate system of the camera; An event rule obtaining process of obtaining an event rule for the main image; Generating an individual event rule for converting the event rule into an individual event rule corresponding to each camera using the conversion function; And a rule transmitting process of transmitting the converted individual event rule to detect an event.
  • an image receiving process for receiving a captured image photographed through a plurality of cameras; An event rule for determining whether a predetermined event is generated for the composite image of the plurality of captured images and a rule receiving process for receiving the individual event rule converted by the event rule using a conversion function corresponding to the coordinate system of the plurality of cameras.
  • An object of interest extraction process of extracting an object of interest from the photographed image An individual event determining process of determining whether the trajectory information of the object of interest corresponds to an individual event based on the individual event rule;
  • a single event rule for a composite image obtained by synthesizing a plurality of captured images is converted into an individual event rule using a conversion function corresponding to the coordinate system of the plurality of cameras, and an individual event.
  • FIG. 1 is a block diagram schematically illustrating an event detection system according to an exemplary embodiment.
  • FIG. 2 is a block diagram schematically illustrating an apparatus for generating individual event rules according to an exemplary embodiment.
  • FIG. 3 is a block diagram schematically illustrating an event detection apparatus according to the present embodiment.
  • FIG. 4 is a flowchart illustrating a method of detecting an event by the event detecting apparatus according to the present embodiment.
  • FIG. 5 is a flowchart illustrating a method for generating an individual event rule by the individual event rule generating apparatus according to the present embodiment.
  • FIG. 1 is a block diagram schematically illustrating an event detection system according to an exemplary embodiment.
  • the event detection system includes an image capturing apparatus 110, an image transmitting apparatus 120, a network network 130, an individual event rule generating apparatus 140, and an event detecting apparatus 150.
  • the image capturing apparatus 110 includes a first camera 112 and a second camera 114.
  • the image capturing apparatus 110 refers to a device for capturing a photographed image, and the image capturing apparatus 110 according to the present exemplary embodiment captures a photographed image to monitor an event such as movement, intrusion, departure, theft, and neglect. CCTV cameras, surveillance cameras and the like may be implemented.
  • the photographed image may include a plurality of frames photographed by the plurality of cameras 112 and 114.
  • the image capturing apparatus 110 is composed of a plurality of cameras, such as the first camera 112 and the second camera 114, and each camera photographs all or a part of the same position in different directions.
  • the first camera 112 may photograph a left part of the playground
  • the second camera 112 may be a camera photographing a right part of the playground.
  • Cameras 112 and 114 may have an area of an image that is repeatedly captured.
  • the image transmitting apparatus 120 transmits the captured image photographed by the image capturing apparatus 110 including the plurality of cameras to the individual event rule generating apparatus 140 and the event rule detecting apparatus 150.
  • the image transmission device 120 is shown to transmit and receive data about the image and rule via the network network 130, but is not necessarily limited to this, a communication network according to a local area network or a communication base station installed by a predetermined company If it can transmit and receive data for the video and rules as shown in any network can be implemented.
  • the individual event rule generating apparatus 140 receives the captured image from the image transmitting apparatus 120, generates the synthesized main image by using the predetermined conversion function, and sets the pre-generated event rule in the main image. do. In addition, a plurality of individual rule images are generated from the main image in which the event rule is generated using a predetermined conversion function, and the event rules and the individual event rules are transmitted to the event detection apparatus 150.
  • the individual event rule generating apparatus 140 synthesizes a plurality of captured images into one main image by using a predetermined conversion function corresponding to the coordinate system of the camera.
  • the predetermined transform function may be a function of a method such as homography and calibration for correcting a distorted image using a coordinate system.
  • the individual event rule generating device 140 obtains an event rule for the synthesized main image.
  • the event rule is a rule set by the manager's operation on the main image synthesized with the captured image.
  • the event rule recognizes an action that the object of interest passes through the ROI generated through a setting command such as a manager's interface operation or coordinate input as an event. It means condition information.
  • a detailed description of the event rule will be made with reference to FIG. 2.
  • the individual event rule generating apparatus 140 converts the event rule for the main image into an individual event rule corresponding to each camera by using a predetermined conversion function corresponding to the coordinate system of each camera. For example, when the event rule set as the ROI of the circular shape is acquired in the main image, the individual event rule generating apparatus 140 firstly divides the left half circle of the ROI by using a conversion function corresponding to the first camera 112. The right half circle of the ROI may be converted into a second individual event rule by using the conversion function corresponding to the second camera 114. As another example, the individual event rule generating apparatus 140 may use the transform function corresponding to the first camera 112 in the main image in which the ROI of the ' ⁇ ' type is set as the event rule to the left ' ⁇ ' of the ROI. The 'part' may be converted into the first individual event rule, and the right ' ⁇ ' part of the ROI may be converted into the second individual event rule by using a conversion function corresponding to the second camera 114.
  • the event detecting apparatus 150 refers to an apparatus for receiving an event rule and an individual event rule from the individual event rule generating apparatus 140 and detecting an object of interest corresponding to the event.
  • the event detecting apparatus 150 is connected to the image transmitting apparatus 120 to receive a captured image, and receives the event rule and the individual event rule from the individual event rule generating device 140.
  • the event rule refers to an event rule for the main image generated by using a predetermined conversion function in the individual event rule generating device 140, and the individual event rule indicates an event rule in the individual event rule generating device 140, respectively.
  • the event detecting apparatus 150 compares the pre-stored background image and the captured image to determine the difference between the image and the locus of the object of interest.
  • the locus information is preferably represented by a coordinate value (for example, (x, y)) in which the object of interest is located, but is not necessarily limited thereto and may be a distance value from a predetermined reference.
  • the pre-stored background image is a background image previously photographed by a plurality of cameras, and refers to an image representing a background that is stopped for a predetermined time and not an object of interest moving in the captured image.
  • the event detecting apparatus 150 may change the event of the object of interest through the ROI according to the individual event rule when the code value of the trajectory information of the object of interest is changed based on the individual event rule received from the individual event rule generating device 140.
  • the individual event may be an individual event in which the object of interest passes through the boundary of the ROI according to an individual event rule, but is not necessarily limited thereto, and may be an individual event for invading or leaving the boundary of the ROI.
  • the event detecting apparatus 150 generates inverse transform locus information of the object of interest determined as an object event by using a predetermined transform function, and when a plurality of inverse transform locus information corresponding to each camera corresponds to an event rule, Detects it as an event of.
  • the trajectory information of the object of interest determined as an individual event may generate inverse transform trajectory information by inversely transforming a transform function such as homography and calibration for correcting a distorted image using a camera coordinate system.
  • the event detection apparatus 150 monitors an event through display and notification of output information on the detected event.
  • the event detection apparatus 150 may calculate statistical information on the event using the output information on the detected event.
  • the statistical information refers to information calculated by grasping the number of occurrences of an event such as an object of interest passing through the region of interest, intrusion and departure.
  • FIG. 2 is a block diagram schematically illustrating an apparatus for generating individual event rules according to an exemplary embodiment.
  • the individual event rule generator 140 includes an image receiver 210, an image synthesizer 222, an event rule acquirer 224, an individual event rule generator 226, and an event rule generator 230. ) And a rule transmitter 240.
  • the image receiver 210 is connected to the image transmitter 120 to receive a captured image.
  • the photographed image is an image photographed through a plurality of cameras included in the image capturing apparatus 110, and means a photographed image for each camera.
  • the captured image is preferably one captured frame, but is not necessarily limited thereto, and may be an image in which a plurality of frames are combined.
  • the image synthesizing unit 222 synthesizes a plurality of captured images using a predetermined conversion function to generate one main image.
  • the image synthesizing unit 222 synthesizes a plurality of captured images into one main image by using a predetermined conversion function corresponding to the coordinate system of the camera.
  • the predetermined transform function may be a function of a method such as homography and calibration for correcting a distorted image using a coordinate system.
  • the image synthesizing unit 222 captures a passerby on the left side of the image from the first camera 112. An image is received, and a photographed image in which a pedestrian exists on the right side of the image is received from the second camera 114 to generate a main image in which the pedestrian is located at the center using a predetermined conversion function.
  • the event rule acquisition unit 224 obtains an event rule for the main image from the event rule generation unit 230.
  • the event rule is a rule set by the manager's operation on the main image synthesized with the captured image.
  • the event rule recognizes an action that the object of interest passes through the ROI generated through a setting command such as a manager's interface operation or coordinate input as an event. It means condition information.
  • the event rule acquisition unit 224 acquires an event rule for the main image synthesized for the first time by the image synthesizing unit 222
  • the event rule generation unit 230 executes a setting command such as an interface operation or coordinate input of an administrator. It is desirable to obtain an event rule generated through.
  • the event rule acquisition unit 224 acquires the event rule for the main image synthesized after the second time by the image synthesis unit 222
  • the event rule acquisition unit 224 is applied to the first synthesized main image previously stored in the event rule generator 230. It can obtain the event rule for.
  • the event rule acquisition unit 224 acquires an event rule in which the administrator sets a region of interest and a predetermined boundary reference value around the pedestrian on the interface screen in a circle shape. Preset event rules are acquired for the main image generated after the operation. Meanwhile, when the ROI or boundary reference value for the event rule is changed or deleted, the event rule acquisition unit 224 may obtain an event rule generated through a setting command such as an interface operation or coordinate input of an administrator.
  • the event rule acquisition unit 224 is described as a separate module that acquires and operates an event rule in the event rule generation unit 230, but is not necessarily limited thereto, and a setting command such as an interface operation or coordinate input of an administrator. It can also be implemented as a module, such as creating and storing event rules.
  • the individual event rule generator 226 converts the event rule for the main video into the individual event rule using a predetermined conversion function.
  • the event rule for the main image acquired by the event rule acquisition unit 224 is converted into an individual event rule corresponding to each camera using a predetermined conversion function corresponding to the coordinate system of each camera.
  • the individual event rule generation unit 226 may use the conversion function corresponding to the first camera 112. The left semicircle of the area may be converted into the first individual event rule, and the right semicircle of the ROI may be converted into the second individual event rule using a conversion function corresponding to the second camera 114.
  • the event rule generator 230 generates an event rule for detecting a moving object and transmits the generated event rule to the event rule acquirer 224.
  • the event rule is a rule set through the operation of the manager and refers to condition information for recognizing, as an event, a motion of the object of interest passing through the ROI generated through a setting command such as an interface operation or coordinate input of the manager.
  • the event rule generator 230 uses an event rule by using a boundary reference value such as a distance value and a code value set based on the ROI and ROI generated through a setting command such as an interface operation or coordinate input of an administrator.
  • a boundary reference value such as a distance value and a code value set based on the ROI and ROI generated through a setting command such as an interface operation or coordinate input of an administrator.
  • the event rule generator 230 generates an event rule only once when the main image is first generated by the image synthesizing unit 222 through a setting command of the administrator, and is generated for the main image synthesized after the first time.
  • the event rule is provided to the event rule acquisition unit 224.
  • the event rule generator 224 may generate a new event rule when a setting command such as an interface operation or coordinate input of an administrator for changing or deleting the ROI or boundary reference value for the event rule is input.
  • the event rule generator 230 generates an ROI and a boundary reference value for detecting an event.
  • the ROI refers to a figure formed by line segments, curves, and closed curves as an area for detecting an event
  • the boundary reference value means a distance value and a sign value set based on the ROI.
  • the distance value may be set to set the boundary of the ROI to 0 and increase the distance value by 1 as the distance of the ROI increases by a predetermined distance.
  • the sign value is a value for checking whether the object of interest has passed through the ROI, and the sign values are preferably '+' and '-', but are not necessarily limited thereto.
  • the sign value of the left part of the ROI is set to '+' and the right part
  • an event for a vehicle in which the sign value is changed from '+' to '-' or '-' to '+' may be detected.
  • the event rule generator 230 may change the event rule according to the characteristics of the event to be monitored through the operation of the administrator. For example, the event rule generator 230 sets a region of interest through an input of an administrator, and generates an event region for generating a rule of interest for detecting all events that pass through the set region of interest, and the reference region of interest and the boundary reference value. If the distance value of the object of interest is greater than or equal to a predetermined threshold and the sign value is changed from '+' to '-' or '-' to '+', an event rule may be determined to be an event. Meanwhile, the event rule may be set not to be an event regardless of a change in a sign value when the distance value of the object is less than or equal to a predetermined threshold value.
  • Such an event rule is set to prevent the object from being judged as an event when the object crosses the region of interest within a predetermined distance of the region of interest.
  • the event rule is described as detecting an object of interest corresponding to an event using both a preset distance value and a code value, but is not necessarily limited thereto, and may detect an event only by changing a code value.
  • the rule transmitter 240 transmits the event rule for the main image acquired by the event rule acquirer 224 and the individual event rule generated by the individual event rule generator 226 to the event detection apparatus 150.
  • the object of interest corresponding to the event rule can be detected, and the object of interest for the same event is determined based on the event rule.
  • FIG. 3 is a block diagram schematically illustrating an event detection apparatus according to the present embodiment.
  • the event detecting apparatus 150 may include a photographed image receiver 310, a rule receiver 320, an object of interest extractor 330, an individual event determiner 340, an event detector 350, and a monitor ( 360).
  • the photographed image receiving unit 310 is connected to the image transmission device 120 and performs an operation of receiving a photographed image.
  • the photographed image is an image photographed through a plurality of cameras included in the image capturing apparatus 110, and means a photographed image for each camera.
  • the captured image is preferably one captured frame, but is not necessarily limited thereto, and may be an image in which a plurality of frames are combined.
  • the rule receiver 320 receives an event rule and an individual event rule from the individual event rule generating device 140.
  • the event rule refers to an event rule for the main image generated by using a predetermined conversion function in the individual event rule generating device 140
  • the individual event rule indicates an event rule in the individual event rule generating device 140, respectively.
  • the object-of-interest extractor 330 extracts the trajectory information of the object of interest by comparing the pre-stored background image with the photographed image to determine the difference between the object and the object of interest.
  • the locus information is preferably represented by a coordinate value (for example, (x, y)) in which the object of interest is located, but is not necessarily limited thereto and may be a distance value from a predetermined reference.
  • the background image is a background image previously photographed by a plurality of cameras, and refers to an image representing a background that is stopped for a predetermined time and not an object of interest moving in the captured image.
  • the trajectory information of the object of interest extracted by the object-of-interest extractor 330 is used by the individual event determiner 340 to determine whether the object of interest corresponds to the individual event.
  • the individual event determiner 340 determines whether the object of interest extracted by the object-of-interest extractor 330 corresponds to the individual event based on the individual event rule. In more detail, the individual event determination unit 340 checks whether the sign value of the trajectory information of the object of interest is changed based on the individual event rule to determine whether the object of interest generates an individual event passing through the ROI according to the individual event rule. To judge.
  • the individual event may be an individual event in which the object of interest passes through the boundary of the ROI according to an individual event rule, but is not necessarily limited thereto, and may be an individual event for invading or leaving the boundary of the ROI.
  • a region of interest for an individual event rule is set as a vertical boundary in the center of the image, and a sign value is set as a '+' value on the left side of the boundary line and a '-' value on the right side based on the vertical boundary line.
  • the object information of which the code value of the object information is changed from '+' to '-' is extracted by extracting the information of the object of interest moving from the photographed image. Can be determined as an individual event.
  • the event detector 350 generates inverse transform locus information of the object of interest determined by the individual event determiner 340 as an individual event using a predetermined conversion function, and generates a plurality of inverse transform locus information corresponding to each camera. If the event rule corresponds to one event is detected.
  • the trajectory information of the object of interest determined as an individual event may generate inverse transform trajectory information by inversely transforming a transform function such as homography and calibration for correcting a distorted image using a camera coordinate system.
  • the first interest object determined based on the first individual event rule having the ROI of the first camera 112 and the second ROI having the ROI of the second camera 114 are determined. 2
  • the event detector 350 may convert the trajectory information of the first interest object by using a predetermined conversion function. Generate inverse transform locus information, generate second inverse transform locus information for a second object of interest using a predetermined transform function, and generate first inverse transform locus information based on an event rule having a region of interest And the second inverse transform locus information is determined as one event and detected.
  • the monitoring unit 360 monitors the event through display and notification of output information on the event detected by the event detector 350. Meanwhile, in FIG. 3, the monitoring unit 360 is shown as being included in the event detection apparatus 150, but is not necessarily limited thereto, and the mobile object detection apparatus 150 and the wireless LAN signal, Bluetooth, and Zigbee It may also be implemented as a separate device connected using short-range communication such as).
  • the monitoring unit 360 may calculate statistical information on the event using the output information on the detected event.
  • the statistical information refers to information calculated by grasping the number of occurrences of an event such as an object of interest passing through the region of interest, intrusion and departure.
  • the monitoring unit 360 may calculate statistical information about an event such as the number of guests entering and exiting the store, the traffic volume of a car passing through a road, and the number of people passing through a predetermined area.
  • FIG. 4 is a flowchart illustrating a method of detecting an event by the event detecting apparatus according to the present embodiment.
  • the event detection apparatus 150 receives the captured image photographed by the image capturing apparatus 110 from the image transmitting apparatus 120 (S410).
  • the image capturing apparatus 110 is preferably implemented by a plurality of cameras, and the event detecting apparatus 150 obtains a plurality of captured images captured by each camera.
  • the event detection apparatus 150 receives an event rule and an individual event rule from the individual event rule generating device 140 (S420).
  • the event rule refers to an event rule for the main image generated by using a predetermined conversion function in the individual event rule generating device 140
  • the individual event rule indicates an event rule in the individual event rule generating device 140, respectively.
  • the event detection apparatus 150 extracts an object of interest from the captured image (S430).
  • the event detecting apparatus 150 compares the pre-stored background image and the captured image to determine the difference between the image and the locus of the object of interest.
  • the locus information is preferably represented by a coordinate value (for example, (x, y)) in which the object of interest is located, but is not necessarily limited thereto and may be a distance value from a predetermined reference.
  • the background image is a background image previously photographed by a plurality of cameras, and refers to an image representing a background that is stopped for a predetermined time and not an object of interest moving in the captured image.
  • the event detection apparatus 150 determines whether the object of interest corresponds to the individual event based on the individual event rule received in step S420 (S440). Based on the individual event rule, it is determined whether the code value of the trajectory information of the object of interest is changed to determine whether the object of interest has generated an individual event passing through the ROI according to the individual event rule. For example, a region of interest for an individual event rule is set as a vertical boundary in the center of the image, and a sign value is set as a '+' value on the left side of the boundary line and a '-' value on the right side based on the vertical boundary line.
  • the object information of which the code value of the object information is changed from '+' to '-' is extracted by extracting the information of the object of interest moving from the photographed image. Can be determined as an individual event.
  • the event detection apparatus 150 When the object of interest corresponds to an individual event, the event detection apparatus 150 generates inverse transform trajectory information using the trajectory information of the object of interest using a predetermined transform function (S450).
  • the trajectory information of the object of interest corresponding to the individual event may be inversely transformed by inverting a transform function such as homography, calibration, etc. for correcting a distorted image using a camera coordinate system.
  • the event detection apparatus 150 determines and detects one event (S460). If the ROI information is included in the ROI based on the predetermined event rule and the predetermined ROI and the code value, and the code value is changed, the ROI may be determined as the event.
  • the event detection apparatus 150 monitors output information on the detected event through display and notification (S470).
  • steps S410 to S470 are described as being sequentially executed. However, this is merely illustrative of the technical idea of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs. Those having a variety of modifications and variations may be applicable by changing the order described in FIG. 4 or executing one or more steps of steps S410 to S470 in parallel without departing from the essential characteristics of an embodiment of the present invention. 4 is not limited to the time series order.
  • FIG. 5 is a flowchart illustrating a method for generating an individual event rule by the individual event rule generating apparatus according to the present embodiment.
  • the individual event rule generating apparatus 140 receives the captured image photographed by the image capturing apparatus 110 from the image transmitting apparatus 120 (S510).
  • the image capturing apparatus 110 is preferably implemented by a plurality of cameras, and the individual event rule generating apparatus 140 obtains a plurality of captured images captured by each camera.
  • the individual event rule generating apparatus 140 synthesizes a plurality of captured images into one main image by using a predetermined conversion function corresponding to the coordinate system of the camera (S520).
  • the predetermined transform function is preferably a function of a method such as homography and calibration for correcting a distorted image using a coordinate system.
  • the individual event rule generating apparatus 140 obtains an event rule for the main image (S530).
  • the event rule is a rule set by the manager's operation on the main video composed of the captured images.
  • the event rule recognizes the motion of the object of interest passing through the ROI generated through a setting command such as a manager's interface operation or coordinate input as an event. It means condition information.
  • the individual event rule generating apparatus 140 converts the event rule for the main image into an individual event rule corresponding to each camera by using a predetermined conversion function corresponding to the coordinate system of the camera (S540). For example, when the event rule set as the ROI of the circular shape is acquired in the main image, the individual event rule generating apparatus 140 firstly divides the left half circle of the ROI by using a conversion function corresponding to the first camera 112. The right half circle of the ROI may be converted into a second individual event rule by using the conversion function corresponding to the second camera 114.
  • the individual event rule generating apparatus 140 transmits the event rule for the main image and the generated individual event rule to the event detecting apparatus 150 to detect an object of interest corresponding to the event (S550).
  • steps S510 to S550 are described as being sequentially executed. However, this is merely illustrative of the technical idea of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs. Those having a variety of modifications and variations may be applicable by changing the order described in FIG. 5 or executing one or more steps of steps S510 to S550 in parallel without departing from the essential characteristics of an embodiment of the present invention. 5 is not limited to the time series order.
  • the present embodiment is applied to a field, and converts one event rule for a synthesized image obtained by synthesizing a plurality of captured images into individual event rules using a conversion function corresponding to the coordinate system of the plurality of cameras.
  • network 140 individual event rule generating device
  • event detection device 210 video receiving unit
  • rule transmission unit 310 photographed image receiving unit
  • rule receiver 330 interest object extractor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법를 개시한다. 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신부; 상기 복수 개의 촬영영상을 상기 카메라의 좌표계에 대응되는 변환함수를 이용하여 하나의 메인영상으로 합성하는 영상 합성부; 상기 메인영상에 대한 이벤트룰을 획득하는 이벤트룰 획득부; 상기 이벤트룰을 상기 변환함수를 이용하여 각각의 상기 카메라에 대응되는 개별 이벤트룰로 변환하는 개별 이벤트룰 생성부; 및 변환된 상기 개별 이벤트룰을 이벤트를 검출하기 위해 전송하는 룰 전송부를 포함하는 것을 특징으로 하는 개별 이벤트룰 생성장치를 제공한다.

Description

복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
본 실시예는 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 복수 개의 촬영영상이 합성된 합성영상에 대한 하나의 이벤트룰을 상기 복수 개의 카메라의 좌표계에 대응되는 변환함수를 이용하여 개별 이벤트룰로 변환하고, 개별 이벤트룰에 근거하여 판단된 복수 개의 개별 이벤트를 소정의 변환함수를 이용하여 하나의 이벤트로 검출하는 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법에 관한 것이다.
일반적인 영상보안 시스템은 기 설치된 카메라마다 이벤트룰을 설정하고, 설정된 이벤트룰에 근거하여 각각의 이벤트를 검출함으로써, 실제 하나의 객체에 따른 이벤트라도 복수 개의 이벤트로 검출될 수 있고, 이러한 불필요한 검출로 인해 복수 개의 이벤트가 동일한 이벤트인 것을 판단하기 위한 프로세스 및 처리시간이 증가한다는 문제점이 있다.
본 실시예는, 복수 개의 촬영영상이 합성된 합성영상에 대한 하나의 이벤트룰을 상기 복수 개의 카메라의 좌표계에 대응되는 변환함수를 이용하여 개별 이벤트룰로 변환하고, 개별 이벤트룰에 근거하여 판단된 복수 개의 개별 이벤트를 소정의 변환함수를 이용하여 하나의 이벤트로 검출하는 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신부; 상기 복수 개의 촬영영상을 상기 카메라의 좌표계에 대응되는 변환함수를 이용하여 하나의 메인영상으로 합성하는 영상 합성부; 상기 메인영상에 대한 이벤트룰을 획득하는 이벤트룰 획득부; 상기 이벤트룰을 상기 변환함수를 이용하여 각각의 상기 카메라에 대응되는 개별 이벤트룰로 변환하는 개별 이벤트룰 생성부; 및 변환된 상기 개별 이벤트룰을 이벤트를 검출하기 위해 전송하는 룰 전송부를 포함하는 것을 특징으로 하는 개별 이벤트룰 생성장치를 제공한다.
본 실시예의 다른 측면에 의하면, 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신부; 상기 복수 개의 촬영영상의 합성영상에 대한 소정 이벤트의 발생 여부를 판단하는 이벤트룰 및 상기 이벤트룰이 상기 복수 개의 카메라의 좌표계에 대응되는 변환함수를 이용하여 변환된 개별 이벤트룰을 수신하는 룰 수신부; 상기 촬영영상으로부터 관심객체를 추출하는 관심객체 추출부; 상기 개별 이벤트룰에 근거하여 상기 관심객체의 궤적정보가 개별 이벤트에 해당하는지 여부를 판단하는 개별 이벤트 판단부; 상기 관심객체의 궤적정보를 상기 변환함수를 이용하여 역변환 궤적정보를 생성하고, 복수 개의 상기 역변환 궤적정보가 상기 이벤트룰을 만족하면 하나의 이벤트로 판단하여 검출하는 이벤트 검출부; 및 상기 검출된 이벤트에 따라 출력정보를 생성하는 이벤트 출력부를 포함하는 것을 특징으로 하는 이벤트 검출장치를 제공한다.
본 실시예의 다른 측면에 의하면, 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신과정; 상기 복수 개의 촬영영상을 상기 카메라의 좌표계에 대응되는 변환함수를 이용하여 하나의 메인영상으로 합성하는 영상 합성과정; 상기 메인영상에 대한 이벤트룰을 획득하는 이벤트룰 획득과정; 상기 이벤트룰을 상기 변환함수를 이용하여 각각의 상기 카메라에 대응되는 개별 이벤트룰로 변환하는 개별 이벤트룰 생성과정; 및 변환된 상기 개별 이벤트룰을 이벤트를 검출하기 위해 전송하는 룰 전송과정을 포함하는 것을 특징으로 하는 개별 이벤트룰 생성방법을 제공한다.
본 실시예의 다른 측면에 의하면, 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신과정; 상기 복수 개의 촬영영상의 합성영상에 대한 소정 이벤트의 발생 여부를 판단하는 이벤트룰 및 상기 이벤트룰이 상기 복수 개의 카메라의 좌표계에 대응되는 변환함수를 이용하여 변환된 개별 이벤트룰을 수신하는 룰 수신과정; 상기 촬영영상으로부터 관심객체를 추출하는 관심객체 추출과정; 상기 개별 이벤트룰에 근거하여 상기 관심객체의 궤적정보가 개별 이벤트에 해당하는지 여부를 판단하는 개별 이벤트 판단과정; 상기 관심객체의 궤적정보를 상기 변환함수를 이용하여 역변환 궤적정보를 생성하고, 복수 개의 상기 역변환 궤적정보가 상기 이벤트룰을 만족하면 하나의 이벤트로 판단하여 검출하는 이벤트 검출과정; 및 상기 검출된 이벤트에 따라 출력정보를 생성하는 이벤트 출력과정을 포함하는 것을 특징으로 하는 이벤트 검출방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 복수 개의 촬영영상이 합성된 합성영상에 대한 하나의 이벤트룰을 상기 복수 개의 카메라의 좌표계에 대응되는 변환함수를 이용하여 개별 이벤트룰로 변환하고, 개별 이벤트룰에 근거하여 판단된 복수 개의 개별 이벤트를 소정의 변환함수를 이용하여 하나의 이벤트로 검출함으로써, 복수 개의 이벤트룰을 설정할 필요가 없고, 중복되는 이벤트를 검출하지 않으며 이벤트의 저장, 검색 및 관리가 용이한 효과가 있다. 또한, 복수 개의 카메라에 하나의 이벤트룰이 설정됨으로 검출장치의 수를 감소시킬 수 있는 효과가 있다.
도 1은 본 실시예에 따른 이벤트 검출시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 개별 이벤트룰 생성장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 이벤트 검출장치를 개략적으로 나타낸 블록 구성도이다.
도 4는 본 실시예에 따른 이벤트 검출장치가 이벤트를 검출하는 방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 개별 이벤트룰 생성장치가 개별 이벤트룰을 생성하는 방법을 설명하기 위한 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 실시예에 따른 이벤트 검출시스템을 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 이벤트 검출시스템은 영상 촬영장치(110), 영상 전송장치(120), 네트워크망(130), 개별 이벤트룰 생성장치(140) 및 이벤트 검출장치(150)를 포함한다. 여기서, 영상 촬영장치(110)는 제1 카메라(112) 및 제2 카메라(114)를 포함한다.
영상 촬영장치(110)는 촬영영상을 촬영하는 장치를 말하며, 본 실시예에 따른 영상 촬영장치(110)는 객체의 이동, 침입, 이탈, 도난 및 방치 등의 이벤트를 감시하기 위해 촬영영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라 등으로 구현되는 것이 바람직하다. 여기서, 촬영영상은 복수 개의 카메라(112, 114)에서 촬영된 복수 개의 프레임을 포함할 수 있다.
영상 촬영장치(110)는 제1 카메라(112) 및 제2 카메라(114)와 같이 복수 개의 카메라로 구성되며, 각각의 카메라는 서로 다른 방향에서 동일한 위치의 전체 또는 일부를 촬영한다. 예컨대, 영상 촬영장치(110)가 운동장을 촬영하는 경우, 제1 카메라(112)는 운동장의 좌측 부분을 촬영하고, 제2 카메라(112)는 운동장의 우측부분을 촬영하는 카메라일 수 있으며, 복수 개의 카메라(112, 114)는 중복해서 촬영되는 영상의 영역이 존재할 수 있다.
영상 전송장치(120)는 복수 개의 카메라가 포함된 영상 촬영장치(110)에서 촬영된 촬영영상을 개별 이벤트룰 생성장치(140) 및 이벤트룰 검출장치(150)에 전송한다. 여기서, 영상 전송장치(120)는 네트워크망(130)을 경유하여 영상 및 룰에 대한 데이터를 송수신하는 것으로 나타내고 있으나 반드시 이에 한정되는 것은 아니며, 근거리 통신망 또는 소정의 기업에서 설치한 통신기지국에 따른 통신망과 같이 영상 및 룰에 대한 데이터를 송수신할 수 있다면 그 어떤 망으로도 구현될 수 있다.
개별 이벤트룰 생성장치(140)는 영상 전송장치(120)로부터 촬영영상을 수신하고, 촬영영상을 소정의 변환함수를 이용하여 합성된 메인영상을 생성하고, 메인영상에 기 생성된 이벤트룰을 설정한다. 또한, 이벤트룰이 생성된 메인영상을 소정의 변환함수를 이용하여 복수 개의 개별 룰 영상을 생성하여, 이벤트룰 및 개별 이벤트룰을 이벤트 검출장치(150)에 전송한다.
개별 이벤트룰 생성장치(140)는 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 복수 개의 촬영영상을 하나의 메인영상으로 합성한다. 여기서, 소정의 변환함수는 좌표계를 이용하여 왜곡된 영상을 보정하기 위한 호모그래피(Homograghy) 및 캘리브레이션(Calibration) 등과 같은 방식의 함수일 수 있다. 개별 이벤트룰 생성장치(140)는 합성된 메인영상에 대한 이벤트룰을 획득한다. 여기서, 이벤트룰은 촬영영상이 합성된 메인영상에 관리자의 조작을 통해 설정된 규칙으로서 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령을 통해 생성된 관심영역을 관심객체가 통과하는 동작을 이벤트로 인지하는 조건정보을 의미한다. 여기서, 이벤트룰에 대한 자세한 설명은 도 2에서 하도록 한다.
또한, 개별 이벤트룰 생성장치(140)는 메인영상에 대한 이벤트룰을 각각의 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 각 카메라에 대응되는 개별 이벤트룰로 변환한다. 예컨대, 개별 이벤트룰 생성장치(140)는 메인영상에 원 형태의 관심영역으로 설정된 이벤트룰이 획득되면, 제1 카메라(112)에 대응되는 변환함수를 이용하여 관심영역의 좌측 반원을 제1 개별 이벤트룰로 변환하고, 제2 카메라(114)에 대응되는 변환함수를 이용하여 관심영역의 우측 반원을 제2 개별 이벤트룰로 변환할 수 있다. 또 다른 예를 들어, 개별 이벤트룰 생성장치(140)는 '┳' 형태의 관심영역이 이벤트룰로 설정된 메인영상에서 제1 카메라(112)에 대응되는 변환함수를 이용하여 관심영역의 좌측 '┓' 부분을 제1 개별 이벤트룰 변환하고, 제2 카메라(114)에 대응되는 변환함수를 이용하여 관심영역의 우측 '┏' 부분을 제2 개별 이벤트룰로 변환할 수 있다.
이벤트 검출장치(150)는 개별 이벤트룰 생성장치(140)로부터 이벤트룰 및 개별 이벤트룰을 수신하여 이벤트에 해당하는 관심객체를 검출하는 장치를 말한다.
본 실시예에 따른 이벤트 검출장치(150)는 영상 전송장치(120)와 연결되어 촬영영상을 수신하고, 개별 이벤트룰 생성장치(140)로부터 이벤트룰 및 개별 이벤트룰을 수신한다. 여기서, 이벤트룰은 개별 이벤트룰 생성장치(140)에서 소정의 변환함수를 이용하여 생성된 메인영상에 대한 이벤트룰을 의미하고, 개별 이벤트룰은 개별 이벤트룰 생성장치(140)에서 이벤트룰을 각각의 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 변환된 각 카메라에 대응되는 룰을 의미한다.
이벤트 검출장치(150)는 기 저장된 배경영상과 촬영영상을 비교하여 차이가 있는 부분을 움직이는 관심객체로 판단하여 관심객체에 대한 궤적정보를 추출한다. 여기서, 궤적정보는 관심객체가 위치한 좌표값(예컨대, (x, y))으로 표현되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 소정의 기준으로부터의 거리값이될 수도 있다. 또한, 기 저장된 배경영상은 복수 개의 카메라를 통해 기 촬영된 배경영상으로서, 촬영된 영상 내에서 움직이는 관심객체가 아닌 소정의 시간동안 정지된 배경을 나타내는 영상을 의미한다.
이벤트 검출장치(150)는 개별 이벤트룰 생성장치(140)로부터 수신된 개별 이벤트룰에 근거하여 관심객체의 궤적정보의 부호값이 변경되면 관심객체가 개별 이벤트룰에 따른 관심영역을 통과하는 개별 이벤트로 판단한다. 여기서, 개별 이벤트는 관심객체가 개별 이벤트룰에 따른 관심영역의 경계선을 통과하는 개별 이벤트일 수 있으나 반드시 이에 한정되는 것은 아니며, 관심영역의 경계영역을 침입 또는 이탈에 대한 개별 이벤트일 수도 있다.
이벤트 검출장치(150)는 객체 이벤트로 판단된 관심객체의 궤적정보를 소정의 변환함수를 이용하여 역변환 궤적정보를 생성하고, 각각의 카메라에 대응되는 복수 개의 역변환 궤적정보가 이벤트룰에 해당되면 하나의 이벤트로 판단하여 검출한다. 여기서, 개별 이벤트로 판단된 관심객체의 궤적정보는 카메라의 좌표계를 이용하여 왜곡된 영상을 보정하기 위한 호모그래피 및 캘리브레이션 등과 변환함수를 역변환하여 역변환 궤적정보를 생성할 수 있다.
이벤트 검출장치(150)는 검출된 이벤트에 대한 출력정보를 디스플레이 및 알림을 통하여 이벤트를 모니터링하는 동작을 수행한다. 또한, 이벤트 검출장치(150)는 검출된 이벤트에 대한 출력정보를 이용하여 이벤트에 대한 통계정보를 산출할 수 있다. 여기서, 통계정보는 관심객체가 관심영역을 통과, 침입 및 이탈 등과 같은 이벤트가 발생한 수를 파악하여 산출된 정보를 의미한다.
도 2는 본 실시예에 따른 개별 이벤트룰 생성장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 개별 이벤트룰 생성장치(140)는 영상 수신부(210), 영상 합성부(222), 이벤트룰 획득부(224), 개별 이벤트룰 생성부(226), 이벤트룰 생성부(230) 및 룰 전송부(240)를 포함한다.
영상 수신부(210) 영상 전송장치(120)와 연결되어 촬영영상을 수신하는 동작을 수행한다. 여기서, 촬영영상은 영상 촬영장치(110)에 포함된 복수 개의 카메라를 통해 촬영된 영상으로서 각각의 카메라에 대한 촬영영상을 의미한다. 또한, 촬영영상은 캡쳐된 하나의 프레임인 것이 바람직하나 반드시 이에 한정되는 것은 아니며 복수 개의 프레임이 결합된 영상일 수도 있다.
영상 합성부(222)는 소정의 변환함수를 이용하여 복수 개의 촬영영상을 합성하여 하나의 메인영상을 생성하는 동작을 수행한다.
본 실시예에 따른 영상 합성부(222)는 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 복수 개의 촬영영상을 하나의 메인영상으로 합성한다. 여기서, 소정의 변환함수는 좌표계를 이용하여 왜곡된 영상을 보정하기 위한 호모그래피 및 캘리브레이션 등과 같은 방식의 함수일 수 있다. 예컨대, 서로 다른 방향에서 동일한 위치를 촬영하는 제1 카메라(112) 및 제2 카메라(114)의 경우, 영상 합성부(222)는 제1 카메라(112)로부터 영상의 좌측에 행인이 존재하는 촬영영상을 수신하고, 제2 카메라(114)로부터 영상의 우측에 행인이 존재하는 촬영영상을 수신하여 소정의 변환함수를 이용하여 행인이 중앙에 위치한 메인영상을 생성한다.
이벤트룰 획득부(224)는 이벤트룰 생성부(230)로부터 메인영상에 대한 이벤트룰을 획득한다. 여기서, 이벤트룰은 촬영영상이 합성된 메인영상에 관리자의 조작을 통해 설정된 규칙으로서 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령을 통해 생성된 관심영역을 관심객체가 통과하는 동작을 이벤트로 인지하는 조건정보을 의미한다.
이벤트룰 획득부(224)는 영상 합성부(222)에서 처음으로 합성된 메인영상에 대한 이벤트룰을 획득하는 경우, 이벤트룰 생성부(230)에서 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령을 통해 생성된 이벤트룰을 획득하는 것이 바람직하다. 또한, 이벤트룰 획득부(224)는 영상 합성부(222)에서 두 번째 이후 합성된 메인영상에 대한 이벤트룰을 획득하는 경우, 이벤트룰 생성부(230)에 기 저장된 처음으로 합성된 메인영상에 대한 이벤트룰을 획득할 수 있다. 예컨대, 행인이 가운데 존재하는 메인영상이 처음 생성되면, 이벤트룰 획득부(224)는 관리자가 인터페이스 화면에 행인 주변을 원 형태로 관심영역 및 소정의 경계 기준값을 설정한 이벤트룰을 획득하고, 이러한 동작 이후로 생성되는 메인영상에 대해서는 기 설정된 이벤트룰을 획득한다. 한편, 이벤트룰 획득부(224)는 이벤트룰에 대한 관심영역 또는 경계 기준값이 변경 또는 삭제되는 경우, 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령을 통해 생성된 이벤트룰을 획득할 수도 있다.
한편, 이벤트룰 획득부(224)는 이벤트룰 생성부(230)에서 이벤트룰을 획득하여 동작하는 별개의 모듈인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령을 통해 이벤트룰을 생성하고 저장하는 것과 같이 하나의 모듈로 구현될 수도 있다.
개별 이벤트룰 생성부(226)는 메인영상에 대한 이벤트룰을 소정의 변환함수를 이용하여 개별 이벤트룰로 변환하는 동작을 수행한다. 더 자세히 설명하자면, 이벤트룰 획득부(224)에서 획득한 메인영상에 대한 이벤트룰을 각각의 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 각 카메라에 대응되는 개별 이벤트룰로 변환한다. 예컨대, 이벤트룰 획득부(224)에서 메인영상에 원 형태의 관심영역으로 설정된 이벤트룰이 획득되면, 개별 이벤트룰 생성부(226)는 제1 카메라(112)에 대응되는 변환함수를 이용하여 관심영역의 좌측 반원을 제1 개별 이벤트룰로 변환하고, 제2 카메라(114)에 대응되는 변환함수를 이용하여 관심영역의 우측 반원을 제2 개별 이벤트룰로 변환할 수 있다.
이벤트룰 생성부(230)는 움직이는 객체를 검출하기 위한 이벤트룰을 생성하고, 생성된 이벤트룰을 이벤트룰 획득부(224)에 전송하는 동작을 수행한다. 여기서, 이벤트룰은 관리자의 조작을 통해 설정된 규칙으로서 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령을 통해 생성된 관심영역을 관심객체가 통과하는 동작을 이벤트로 인지하는 조건정보를 의미한다.
본 실시예에 따른 이벤트룰 생성부(230)는 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령을 통해 생성된 관심영역과 관심영역을 기준으로 설정된 거리값, 부호값 등의 경계 기준값를 이용하여 이벤트룰을 생성한다. 여기서, 이벤트룰 생성부(230)는 관리자의 설정명령을 통하여 이벤트룰을 영상 합성부(222)에서 메인영상이 처음 생성될 때 한 번만 생성하고, 처음 이후에 합성되는 메인영상에 대해서는 기 생성된 이벤트룰을 이벤트룰 획득부(224)에 제공한다. 한편, 이벤트룰 생성부(224)는 이벤트룰에 대한 관심영역 또는 경계 기준값이 변경 또는 삭제에 대한 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령이 입력되는 경우, 새로운 이벤트룰을 생성할 수도 있다.
이벤트룰 생성부(230)는 이벤트를 검출하기 위한 관심영역 및 경계 기준값을 생성한다. 여기서, 관심영역은 이벤트를 검출하기 위한 영역으로서 선분, 곡선 및 폐곡선으로 이루어진 도형을 의미하고, 경계 기준값은 관심영역을 기준으로 설정된 거리값 및 부호값을 의미한다. 여기서, 거리값은 관심영역의 경계를 0으로 설정하고, 관심영역의 경계에서 소정의 거리만큼 멀어짐에 따라 거리값을 1씩 증가하도록 설정될 수 있다. 또한, 부호값은 관심객체가 관심영역를 통과하였는지를 확인하기 위한 값으로서, 부호값은 '+' 및 '-' 인 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 예컨대, 도로의 교통량에 대한 이벤트를 감시하는 데 있어서, 관심영역의 왼쪽에서 오른쪽으로 통과하는 차량에 대한 이벤트를 감시하는 경우, 관심영역의 왼쪽 부분의 부호값을 '+'로 설정하고, 오른쪽 부분의 부호값을 '-'로 설정하여 '+'에서 '-', 또는 '-'에서 '+'로 부호값이 변경되는 차량에 대한 이벤트를 검출할 수 있다.
이벤트룰 생성부(230)는 관리자의 조작을 통해 감시하고자 하는 이벤트의 특성에 따라 이벤트룰의 변경이 가능하다. 예를 들어, 이벤트룰 생성부(230)는 관리자의 입력을 통해 관심영역을 설정하고, 설정된 관심영역을 통과하는 모든 이벤트를 검출하기 위한 이벤트룰을 생성하는 경우, 기 생성된 관심영역 및 경계 기준값에 근거하여 관심객체의 거리값이 소정의 임계값 이상이고 부호값이 '+'에서 '-' 또는 '-'에서 '+' 로 변경되면 이벤트인 것으로 판단하는 이벤트룰을 설정할 수 있다. 한편, 이벤트룰은 객체의 거리값이 소정의 임계값 이하이면 부호값의 변화와 관계없이 이벤트가 아닌 것으로 설정될 수 있다. 이러한 이벤트룰은 객체가 관심영역의 소정의 거리 내에 근접하여 관심영역을 넘나드는 경우를 이벤트로 판단되는 것을 방지하기 위해 설정된다. 여기서, 이벤트룰은 기 설정된 거리값 및 부호값을 모두 이용하여 이벤트에 해당하는 관심객체를 검출하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 부호값의 변화만을 가지고 이벤트를 검출할 수도 있다.
룰 전송부(240)는 이벤트룰 획득부(224)에서 획득한 메인영상에 대한 이벤트룰과 개별 이벤트룰 생성부(226)에서 생성된 개별 이벤트룰을 이벤트 검출장치(150)에 전송하여, 개별 이벤트룰에 해당하는 관심객체를 검출할 수 있도록 하고, 이벤트룰에 근거하여 동일한 이벤트에 대한 관심객체인지를 판단한다.
도 3은 본 실시예에 따른 이벤트 검출장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 이벤트 검출장치(150)는 촬영영상 수신부(310), 룰 수신부(320), 관심객체 추출부(330), 개별 이벤트 판단부(340), 이벤트 검출부(350) 및 모니터링부(360)를 포함한다.
촬영영상 수신부(310)는 영상 전송장치(120)와 연결되어 촬영영상을 수신하는 동작을 수행한다. 여기서, 촬영영상은 영상 촬영장치(110)에 포함된 복수 개의 카메라를 통해 촬영된 영상으로서 각각의 카메라에 대한 촬영영상을 의미한다. 또한, 촬영영상은 캡쳐된 하나의 프레임인 것이 바람직하나 반드시 이에 한정되는 것은 아니며 복수 개의 프레임이 결합된 영상일 수도 있다.
룰 수신부(320)는 개별 이벤트룰 생성장치(140)로부터 이벤트룰 및 개별 이벤트룰을 수신한다. 여기서, 이벤트룰은 개별 이벤트룰 생성장치(140)에서 소정의 변환함수를 이용하여 생성된 메인영상에 대한 이벤트룰을 의미하고, 개별 이벤트룰은 개별 이벤트룰 생성장치(140)에서 이벤트룰을 각각의 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 변환된 각 카메라에 대응되는 룰을 의미한다.
관심객체 추출부(330)는 기 저장된 배경영상과 촬영영상을 비교하여 차이가 있는 부분을 움직이는 관심객체로 판단하여 관심객체에 대한 궤적정보를 추출한다. 여기서, 궤적정보는 관심객체가 위치한 좌표값(예컨대, (x, y))으로 표현되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 소정의 기준으로부터의 거리값이될 수도 있다. 여기서, 배경영상은 복수 개의 카메라를 통해 기 촬영된 배경영상으로서, 촬영된 영상 내에서 움직이는 관심객체가 아닌 소정의 시간동안 정지된 배경을 나타내는 영상을 의미한다. 관심객체 추출부(330)에서 추출된 관심객체의 궤적정보는 개별 이벤트룰에 근거하여 개별 이벤트 판단부(340)에서 관심객체가 개별 이벤트에 해당하는지 여부를 판단하는 데 이용된다.
개별 이벤트 판단부(340)는 개별 이벤트룰에 근거하여 관심객체 추출부(330)에서 추출된 관심객체가 개별 이벤트에 해당하는지 여부를 판단한다. 더 자세히 설명하자면, 개별 이벤트 판단부(340)는 개별 이벤트룰에 근거하여 관심객체의 궤적정보의 부호값 변경여부를 확인하여 관심객체가 개별 이벤트룰에 따른 관심영역을 통과하는 개별 이벤트를 발생하였는지 판단한다. 여기서, 개별 이벤트는 관심객체가 개별 이벤트룰에 따른 관심영역의 경계선을 통과하는 개별 이벤트일 수 있으나 반드시 이에 한정되는 것은 아니며, 관심영역의 경계영역을 침입 또는 이탈에 대한 개별 이벤트일 수도 있다. 예컨대, 개별 이벤트룰에 대한 관심영역이 영상의 중앙에 세로 경계선으로 설정되고, 부호값이 세로 경계선을 기준으로 경계선의 좌측은 '+'값, 우측은 '-'값으로 설정되어 개별 이벤트룰이 경계선의 좌측에서 우측으로 통과하는 관심객체를 개별 이벤트로 인지하는 룰일 경우, 촬영영상으로부터 움직이는 관심객체의 궤적정보를 추출하여, 궤적정보에 대한 부호값이 '+'에서 '-'로 변경된 관심객체를 개별 이벤트로 판단할 수 있다.
이벤트 검출부(350)는 개별 이벤트 판단부(340)에서 개별 이벤트로 판단된 관심객체의 궤적정보를 소정의 변환함수를 이용하여 역변환 궤적정보를 생성하고, 각각의 카메라에 대응되는 복수 개의 역변환 궤적정보가 이벤트룰에 해당되면 하나의 이벤트로 판단하여 검출한다. 여기서, 개별 이벤트로 판단된 관심객체의 궤적정보는 카메라의 좌표계를 이용하여 왜곡된 영상을 보정하기 위한 호모그래피 및 캘리브레이션 등과 변환함수를 역변환하여 역변환 궤적정보를 생성할 수 있다.
예를 들어, 제1 카메라(112)에서 '┓'의 관심영역을 가지는 제1 개별 이벤트룰에 근거하여 판단된 제1 관심객체와 제2 카메라(114)에서 '┏'의 관심영역을 가지는 제2 개별 이벤트룰에 근거하여 판단된 제2 관심객체가 개별 이벤트 판단부(340)에서 판단된 경우, 이벤트 검출부(350)는 제1 관심객체에 대한 궤적정보를 소정의 변환함수를 이용하여 제1 역변환 궤적정보를 생성하고, 제2 관심객체에 대한 궤적정보를 소정의 변환함수를 이용하여 제2 역변환 궤적정보를 생성하고, '┳'의 관심영역을 가지는 이벤트룰에 근거하여 제1 역변환 궤적정보 및 제2 역변환 궤적정보가 해당됨으로 하나의 이벤트로 판단하여 검출한다.
모니터링부(360)는 이벤트 검출부(350)에서 검출된 이벤트에 대한 출력정보를 디스플레이 및 알림을 통하여 이벤트를 모니터링하는 동작을 수행한다. 한편, 도 3에서 모니터링부(360)는 이벤트 검출장치(150) 내에 포함된 것으로 나타내고 있으나 반드시 이에 한정되는 것은 아니며, 이동객체 검출장치(150)와 무선랜 신호 또는 블루투스(Bluetooth), 지그비(Zigbee) 등과 같은 근거리 통신을 이용하여 연결된 별도의 장치로 구현될 수도 있다.
또한, 모니터링부(360)는 검출된 이벤트에 대한 출력정보를 이용하여 이벤트에 대한 통계정보를 산출할 수 있다. 여기서, 통계정보는 관심객체가 관심영역을 통과, 침입 및 이탈 등과 같은 이벤트가 발생한 수를 파악하여 산출된 정보를 의미한다. 예컨대, 모니터링부(360)는 매장을 출입하는 손님의 수, 도로를 통과하는 자동차의 교통량 및 소정의 구역을 통과하는 사람의 수 등과 같은 이벤트에 대한 통계정보를 산출할 수 있다.
도 4는 본 실시예에 따른 이벤트 검출장치가 이벤트를 검출하는 방법을 설명하기 위한 순서도이다.
이벤트 검출장치(150)는 영상 촬영장치(110)에서 촬영된 촬영영상을 영상 전송장치(120)로부터 수신한다(S410). 여기서, 영상 촬영장치(110)는 복수 개의 카메라로 구현되는 것이 바람직하며, 이벤트 검출장치(150)는 각각의 카메라로부터 촬영된 복수 개의 촬영영상을 획득한다.
이벤트 검출장치(150)는 개별 이벤트룰 생성장치(140)로부터 이벤트룰 및 개별 이벤트룰을 수신한다(S420). 여기서, 이벤트룰은 개별 이벤트룰 생성장치(140)에서 소정의 변환함수를 이용하여 생성된 메인영상에 대한 이벤트룰을 의미하고, 개별 이벤트룰은 개별 이벤트룰 생성장치(140)에서 이벤트룰을 각각의 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 변환된 각 카메라에 대응되는 룰을 의미한다.
이벤트 검출장치(150)는 촬영영상으로부터 관심객체를 추출한다(S430). 이벤트 검출장치(150)는 기 저장된 배경영상과 촬영영상을 비교하여 차이가 있는 부분을 움직이는 관심객체로 판단하여 관심객체에 대한 궤적정보를 추출한다. 여기서, 궤적정보는 관심객체가 위치한 좌표값(예컨대, (x, y))으로 표현되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 소정의 기준으로부터의 거리값이될 수도 있다. 여기서, 배경영상은 복수 개의 카메라를 통해 기 촬영된 배경영상으로서, 촬영된 영상 내에서 움직이는 관심객체가 아닌 소정의 시간동안 정지된 배경을 나타내는 영상을 의미한다.
이벤트 검출장치(150)는 단계 S420에서 수신된 개별 이벤트룰에 근거하여 관심객체가 개별 이벤트에 해당하는지 여부를 판단한다(S440). 개별 이벤트룰에 근거하여 관심객체의 궤적정보의 부호값 변경여부를 확인하여 관심객체가 개별 이벤트룰에 따른 관심영역을 통과하는 개별 이벤트를 발생하였는지 판단한다. 예컨대, 개별 이벤트룰에 대한 관심영역이 영상의 중앙에 세로 경계선으로 설정되고, 부호값이 세로 경계선을 기준으로 경계선의 좌측은 '+'값, 우측은 '-'값으로 설정되어 개별 이벤트룰이 경계선의 좌측에서 우측으로 통과하는 관심객체를 개별 이벤트로 인지하는 룰일 경우, 촬영영상으로부터 움직이는 관심객체의 궤적정보를 추출하여, 궤적정보에 대한 부호값이 '+'에서 '-'로 변경된 관심객체를 개별 이벤트로 판단할 수 있다.
이벤트 검출장치(150)는 관심객체가 개별 이벤트에 해당하는 경우, 관심객체의 궤적정보를 소정의 변환함수를 이용하여 역변환 궤적정보를 생성한다(S450). 여기서, 개별 이벤트로 해당하는 관심객체의 궤적정보는 카메라의 좌표계를 이용하여 왜곡된 영상을 보정하기 위한 호모그래피 및 캘리브레이션 등과 변환함수를 역변환하여 역변환 궤적정보를 생성할 수 있다.
이벤트 검출장치(150)는 복수 개의 역변환 궤적정보가 단계 S420에서 수신된 이벤트룰에 만족하면 하나의 이벤트로 판단하여 검출한다(S460). 소정의 관심영역 및 부호값이 기 설정된 이벤트룰에 근거하여 역변환 궤적정보가 관심영역에 포함되고, 부호값이 변경된 것으로 확인되면 관심객체를 이벤트로 판단할 수 있다.
이벤트 검출장치(150)는 검출된 이벤트에 대한 출력정보를 디스플레이 및 알림을 통하여 모니터링을 수행한다(S470).
도 4에서는 단계 S410 내지 단계 S470을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S410 내지 단계 S470 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4은 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 실시예에 따른 개별 이벤트룰 생성장치가 개별 이벤트룰을 생성하는 방법을 설명하기 위한 순서도이다.
개별 이벤트룰 생성장치(140)는 영상 촬영장치(110)에서 촬영된 촬영영상을 영상 전송장치(120)로부터 수신한다(S510). 여기서, 영상 촬영장치(110)는 복수 개의 카메라로 구현되는 것이 바람직하며, 개별 이벤트룰 생성장치(140)는 각각의 카메라로부터 촬영된 복수 개의 촬영영상을 획득한다.
개별 이벤트룰 생성장치(140)는 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 복수 개의 촬영영상을 하나의 메인영상으로 합성한다(S520). 여기서, 소정의 변환함수는 좌표계를 이용하여 왜곡된 영상을 보정하기 위한 호모그래피 및 캘리브레이션 등과 같은 방식의 함수인 것이 바람직하다.
개별 이벤트룰 생성장치(140)는 메인영상에 대한 이벤트룰을 획득한다(S530). 기서, 이벤트룰은 촬영영상이 합성된 메인영상에 관리자의 조작을 통해 설정된 규칙으로서 관리자의 인터페이스 조작 또는 좌표입력과 같은 설정명령을 통해 생성된 관심영역을 관심객체가 통과하는 동작을 이벤트로 인지하는 조건정보을 의미한다.
개별 이벤트룰 생성장치(140)는 메인영상에 대한 이벤트룰을 카메라의 좌표계에 대응되는 소정의 변환함수를 이용하여 각각의 카메라에 대응되는 개별 이벤트룰로 변환한다(S540). 예컨대, 개별 이벤트룰 생성장치(140)는 메인영상에 원 형태의 관심영역으로 설정된 이벤트룰이 획득되면, 제1 카메라(112)에 대응되는 변환함수를 이용하여 관심영역의 좌측 반원을 제1 개별 이벤트룰로 변환하고, 제2 카메라(114)에 대응되는 변환함수를 이용하여 관심영역의 우측 반원을 제2 개별 이벤트룰로 변환할 수 있다.
개별 이벤트룰 생성장치(140)는 메인영상에 대한 이벤트룰 및 생성된 개별 이벤트룰을 이벤트에 해당하는 관심객체를 검출하기 위해 이벤트 검출장치(150)로 전송한다(S550).
도 5에서는 단계 S510 내지 단계 S550을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 단계 S510 내지 단계 S550 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5은 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예은 분야에 적용되어, 복수 개의 촬영영상이 합성된 합성영상에 대한 하나의 이벤트룰을 상기 복수 개의 카메라의 좌표계에 대응되는 변환함수를 이용하여 개별 이벤트룰로 변환하고, 개별 이벤트룰에 근거하여 판단된 복수 개의 개별 이벤트를 소정의 변환함수를 이용하여 하나의 이벤트로 검출함으로써, 복수 개의 이벤트룰을 설정할 필요가 없고, 중복되는 이벤트를 검출하지 않으며 이벤트의 저장, 검색 및 관리가 용이한 효과를 발생하는 유용한 발명이다.
(부호의 설명)
110: 영상 촬영장치 112: 제1 카메라
114: 제2 카메라 120: 영상 전송장치
130: 네트워크망 140: 개별 이벤트룰 생성장치
150: 이벤트 검출장치 210: 영상 수신부
222: 영상 합성부 224: 이벤트룰 획득부
226: 개별 이벤트룰 생성부 230: 이벤트룰 생성부
240: 룰 전송부 310: 촬영영상 수신부
320: 룰 수신부 330: 관심객체 추출부
340: 개별 이벤트 판단부 350: 이벤트 검출부
360: 모니터링부
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2012년 09월 25일 한국에 출원한 특허출원번호 제10-2012-0106797호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (13)

  1. 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신부;
    상기 복수 개의 촬영영상을 상기 카메라의 좌표계에 대응되는 변환함수를 이용하여 메인영상으로 합성하는 영상 합성부;
    상기 메인영상에 대한 이벤트룰을 획득하는 이벤트룰 획득부;
    상기 이벤트룰을 상기 변환함수를 이용하여 각각의 상기 카메라에 대응되는 개별 이벤트룰로 변환하는 개별 이벤트룰 생성부; 및
    변환된 상기 개별 이벤트룰을 이벤트를 검출하기 위해 전송하는 룰 전송부
    를 포함하는 것을 특징으로 하는 개별 이벤트룰 생성장치.
  2. 제 1 항에 있어서,
    상기 이벤트룰 획득부는,
    상기 메인영상에 대한 소정의 도형을 관심영역으로 생성하고, 상기 관심영역을 기준으로 거리값 및 부호값을 설정하여 생성된 상기 이벤트룰을 획득하는 것을 특징으로 하는 개별 이벤트룰 생성장치.
  3. 제 2 항에 있어서,
    상기 이벤트룰은,
    상기 관심객체의 위치를 확인하여, 상기 관심객체의 거리값이 소정의 임계값 이상이고, 부호값이 변경되면 상기 관심객체가 상기 관심영역을 통과한 상기 이벤트인 것으로 판단하기 위한 조건정보인 것을 특징으로 하는 개별 이벤트룰 생성장치.
  4. 제 1 항에 있어서,
    상기 영상 합성부는,
    호모그래피(Homograghy), 캘리브레이션(Calibration) 중 적어도 하나 이상의 상기 변환함수를 이용하여 상기 메인영상을 생성하는 것을 특징으로 하는 개별 이벤트룰 생성장치.
  5. 제 1 항에 있어서,
    상기 개별 이벤트룰 생성부는,
    상기 이벤트룰을 변환하여 각 카메라마다 소정의 차이가 있는 상기 개별 이벤트룰을 생성하는 것을 특징으로 하는 개별 이벤트룰 생성장치.
  6. 제 1 항에 있어서,
    상기 룰 전송부는,
    상기 개별 이벤트룰을 이벤트 검출장치에 전송하여, 개별 이벤트에 해당하는 관심객체를 판단하고, 판단된 관심객체에 대한 역변환 궤적정보를 생성하여, 상기 역변환 궤적정보가 상기 이벤트룰에 해당하면 상기 관심객체를 이벤트로 검출하도록 하는 것을 특징으로 하는 개별 이벤트룰 생성장치.
  7. 제 1 항에 있어서,
    상기 촬영영상은,
    상기 복수 개의 카메라가 서로 다른 소정의 방향에서 동일한 위치의 전체 또는 일부를 촬영한 영상인 것을 특징으로 하는 개별 이벤트룰 생성장치.
  8. 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신부;
    상기 복수 개의 촬영영상의 합성영상에 대한 소정 이벤트의 발생 여부를 판단하는 이벤트룰 및 상기 이벤트룰이 상기 복수 개의 카메라의 좌표계에 대응되는 변환함수를 이용하여 변환된 개별 이벤트룰을 수신하는 룰 수신부;
    상기 촬영영상으로부터 관심객체를 추출하는 관심객체 추출부;
    상기 개별 이벤트룰에 근거하여 상기 관심객체의 궤적정보가 개별 이벤트에 해당하는지 여부를 판단하는 개별 이벤트 판단부;
    상기 관심객체의 궤적정보를 상기 변환함수를 이용하여 역변환 궤적정보를 생성하고, 복수 개의 상기 역변환 궤적정보가 상기 이벤트룰을 만족하면 하나의 이벤트로 판단하여 검출하는 이벤트 검출부; 및
    상기 검출된 이벤트에 따라 출력정보를 생성하는 이벤트 출력부
    를 포함하는 것을 특징으로 하는 이벤트 검출장치.
  9. 제 8 항에 있어서,
    상기 관심객체 추출부는,
    상기 복수 개의 카메라를 통해 기 촬영된 배경영상과 상기 촬영영상을 비교하여 상기 관심객체를 추출하는 것을 특징으로 하는 이벤트 검출장치.
  10. 제 8 항에 있어서,
    상기 개별 이벤트 판단부는,
    상기 이벤트룰을 변환하여 각각의 상기 복수 개의 카메라마다 소정의 차이가 있는 상기 개별 이벤트룰을 이용하여 상기 관심객체를 검출하되, 상기 궤적정보가 의 부호값이 변경되면 개별 이벤트로 판단하는 것을 특징으로 하는 이벤트 검출장치.
  11. 제 8 항에 있어서,
    상기 이벤트 검출부는,
    소정의 관심영역 및 부호값이 기 설정된 상기 이벤트룰에 근거하여, 상기 역변환 궤적정보의 부호값이 변경되면 상기 관심객체가 상기 소정의 관심영역을 통과한 이벤트로 판단하여 검출하는 것을 특징으로 하는 이벤트 검출장치.
  12. 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신과정;
    상기 복수 개의 촬영영상을 상기 카메라의 좌표계에 대응되는 변환함수를 이용하여 메인영상으로 합성하는 영상 합성과정;
    상기 메인영상에 대한 이벤트룰을 획득하는 이벤트룰 획득과정;
    상기 이벤트룰을 상기 변환함수를 이용하여 각각의 상기 카메라에 대응되는 개별 이벤트룰로 변환하는 개별 이벤트룰 생성과정; 및
    변환된 상기 개별 이벤트룰을 이벤트를 검출하기 위해 전송하는 룰 전송과정
    을 포함하는 것을 특징으로 하는 개별 이벤트룰 생성방법.
  13. 복수 개의 카메라를 통해 촬영된 촬영영상을 수신하는 영상 수신과정;
    상기 복수 개의 촬영영상의 합성영상에 대한 소정 이벤트의 발생 여부를 판단하는 이벤트룰 및 상기 이벤트룰이 상기 복수 개의 카메라의 좌표계에 대응되는 변환함수를 이용하여 변환된 개별 이벤트룰을 수신하는 룰 수신과정;
    상기 촬영영상으로부터 관심객체를 추출하는 관심객체 추출과정;
    상기 개별 이벤트룰에 근거하여 상기 관심객체의 궤적정보가 개별 이벤트에 해당하는지 여부를 판단하는 개별 이벤트 판단과정;
    상기 관심객체의 궤적정보를 상기 변환함수를 이용하여 역변환 궤적정보를 생성하고, 복수 개의 상기 역변환 궤적정보가 상기 이벤트룰을 만족하면 하나의 이벤트로 판단하여 검출하는 이벤트 검출과정; 및
    상기 검출된 이벤트에 따라 출력정보를 생성하는 이벤트 출력과정
    을 포함하는 것을 특징으로 하는 이벤트 검출방법.
PCT/KR2013/008592 2012-09-25 2013-09-25 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법 WO2014051337A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380049910.2A CN104704816B (zh) 2012-09-25 2013-09-25 从多个拍摄图像检测事件的设备和方法
EP13840942.0A EP2903261B1 (en) 2012-09-25 2013-09-25 Apparatus and method for detecting event from plurality of photographed images
US14/667,552 US9639937B2 (en) 2012-09-25 2015-03-24 Apparatus and method for detecting event from plurality of photographed images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120106797A KR101937272B1 (ko) 2012-09-25 2012-09-25 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
KR10-2012-0106797 2012-09-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/667,552 Continuation US9639937B2 (en) 2012-09-25 2015-03-24 Apparatus and method for detecting event from plurality of photographed images

Publications (1)

Publication Number Publication Date
WO2014051337A1 true WO2014051337A1 (ko) 2014-04-03

Family

ID=50388638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/008592 WO2014051337A1 (ko) 2012-09-25 2013-09-25 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법

Country Status (5)

Country Link
US (1) US9639937B2 (ko)
EP (1) EP2903261B1 (ko)
KR (1) KR101937272B1 (ko)
CN (1) CN104704816B (ko)
WO (1) WO2014051337A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014051262A1 (ko) * 2012-09-25 2014-04-03 에스케이텔레콤 주식회사 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
KR101632198B1 (ko) * 2015-02-10 2016-07-01 주식회사 일리시스 객체 이동 시간 기반 관심 영역 이벤트 발생 감지 방법
EP3159853B1 (en) * 2015-10-23 2019-03-27 Harman International Industries, Incorporated Systems and methods for advanced driver assistance analytics
TWI633497B (zh) * 2016-10-14 2018-08-21 群暉科技股份有限公司 用來藉助於多個攝影機進行協同式計數之方法與裝置
US10592749B2 (en) * 2016-11-14 2020-03-17 General Electric Company Systems and methods for analyzing turns at an airport
KR102634188B1 (ko) 2016-11-30 2024-02-05 한화비전 주식회사 영상 감시 시스템
JP6844503B2 (ja) * 2017-11-06 2021-03-17 京セラドキュメントソリューションズ株式会社 監視システム
CN109974667B (zh) * 2017-12-27 2021-07-23 宁波方太厨具有限公司 一种室内人体定位方法
JP6915575B2 (ja) * 2018-03-29 2021-08-04 京セラドキュメントソリューションズ株式会社 制御装置及び監視システム
CN109872483B (zh) * 2019-02-22 2020-09-29 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种入侵警戒光电监测系统及方法
KR102247359B1 (ko) * 2019-07-31 2021-05-04 (주)유디피 원격 모니터링을 위한 영상 분석 시스템 및 방법
CN113099173A (zh) * 2021-03-25 2021-07-09 湖南桥康智能科技有限公司 一种具有物体位移测量计算功能的智能网络摄像机
CN112797900B (zh) * 2021-04-07 2021-07-06 中科慧远视觉技术(北京)有限公司 多相机板材尺寸测量方法
CN114170752A (zh) * 2021-12-08 2022-03-11 潍坊欣龙生物材料有限公司 周界安防的监视方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080030304A (ko) * 2006-09-29 2008-04-04 (주)로그시스 감시 카메라의 이벤트 검출 촬영시스템
KR20090026937A (ko) * 2007-09-11 2009-03-16 삼성테크윈 주식회사 복수의 이벤트 영상을 표시하는 통합 감시 시스템 및 이를이용한 복수의 이벤트 영상 표시 방법
KR20090035379A (ko) * 2007-10-05 2009-04-09 주식회사 케이티 주차장내 영상감지를 이용한 지능형 보안방범 시스템 및 그제어방법
KR20090069935A (ko) * 2007-12-26 2009-07-01 (주)네스테크놀로지 영상신호 감시용 신호변환기 통합 영상 감시 시스템
KR100940237B1 (ko) * 2003-03-06 2010-02-04 삼성테크윈 주식회사 이벤트 발생과 연동하여 모니터링 및 레코딩 제어가가능한 감시시스템 및 그 제어방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE339743T1 (de) 1997-07-15 2006-10-15 Silverbrook Res Pty Ltd Fotogerät mit internem ausdrucksystem
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
JP4543147B2 (ja) * 2004-07-26 2010-09-15 ジーイーオー セミコンダクター インコーポレイテッド パノラマビジョンシステム及び方法
CN101119482B (zh) * 2007-09-28 2011-07-20 北京智安邦科技有限公司 一种全景监控方法及设备
US20090195382A1 (en) * 2008-01-31 2009-08-06 Sensormatic Electronics Corporation Video sensor and alarm system and method with object and event classification
KR100954375B1 (ko) * 2008-05-06 2010-04-26 (주) 티앤엑스시스템즈 지능형 영상 감시 시스템
US8570376B1 (en) * 2008-11-19 2013-10-29 Videomining Corporation Method and system for efficient sampling of videos using spatiotemporal constraints for statistical behavior analysis
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
KR20110136907A (ko) * 2010-06-16 2011-12-22 주식회사 영국전자 광역 감시 시스템 및 이에 있어서의 감시 데이터 처리 방법
KR101180887B1 (ko) * 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
CN102045544A (zh) * 2010-11-10 2011-05-04 无锡中星微电子有限公司 一种视频监控系统及其视频数据的传输方法
CN102510482A (zh) * 2011-11-29 2012-06-20 蔡棽 一种提高能见度和可视距离的图像拼接重建及全局监控方法
US9530060B2 (en) * 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
JP6148480B2 (ja) * 2012-04-06 2017-06-14 キヤノン株式会社 画像処理装置、画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100940237B1 (ko) * 2003-03-06 2010-02-04 삼성테크윈 주식회사 이벤트 발생과 연동하여 모니터링 및 레코딩 제어가가능한 감시시스템 및 그 제어방법
KR20080030304A (ko) * 2006-09-29 2008-04-04 (주)로그시스 감시 카메라의 이벤트 검출 촬영시스템
KR20090026937A (ko) * 2007-09-11 2009-03-16 삼성테크윈 주식회사 복수의 이벤트 영상을 표시하는 통합 감시 시스템 및 이를이용한 복수의 이벤트 영상 표시 방법
KR20090035379A (ko) * 2007-10-05 2009-04-09 주식회사 케이티 주차장내 영상감지를 이용한 지능형 보안방범 시스템 및 그제어방법
KR20090069935A (ko) * 2007-12-26 2009-07-01 (주)네스테크놀로지 영상신호 감시용 신호변환기 통합 영상 감시 시스템

Also Published As

Publication number Publication date
EP2903261A1 (en) 2015-08-05
US20150199815A1 (en) 2015-07-16
KR101937272B1 (ko) 2019-04-09
EP2903261B1 (en) 2020-11-25
CN104704816A (zh) 2015-06-10
CN104704816B (zh) 2018-06-01
KR20140039927A (ko) 2014-04-02
US9639937B2 (en) 2017-05-02
EP2903261A4 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
WO2014051337A1 (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
WO2013115470A1 (en) Integrated control system and method using surveillance camera for vehicle
WO2014196721A1 (ko) 합성 영상을 이용한 화재감지시스템 및 방법
WO2014051262A1 (ko) 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
KR101471846B1 (ko) Fx 감시카메라를 제어하는 콘트롤박스 및 fx 보안 시스템 및 fx 보안시스템 제어방법
WO2014069812A1 (ko) 카메라 제어 방법과 그를 위한 카메라 제어 장치
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
WO2015037957A1 (ko) 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
WO2021261656A1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
WO2017115905A1 (ko) 인체 포즈 인지 시스템 및 방법
KR101492473B1 (ko) 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
WO2021157794A1 (ko) 도어락을 제어하는 장치 및 방법
WO2013081340A1 (ko) 감시 카메라를 이용하여 인식 불가라고 판정된 피사체를 추적 감시하는 보안 시스템 및 이를 이용한 보안 서비스 제공 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
KR101621822B1 (ko) 하이브리드 이미지 전송 기반의 방범겸용 차량번호 인식 장치, 그리고 이를 이용한 차량번호 인식 및 제공 방법
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
JP2016178363A (ja) 処理装置、制御装置、ロビーインターホン装置、及びインターホンシステム
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
KR101921868B1 (ko) 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
WO2022186426A1 (ko) 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
WO2016167428A1 (ko) 복수의 장소에 설치된 음성 분석 모듈을 이용하는 확장형 감시 장비
WO2011043498A1 (ko) 지능형 영상 감시 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13840942

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013840942

Country of ref document: EP