WO2016018006A1 - Method and device for sensing collapse in image, and system using same - Google Patents

Method and device for sensing collapse in image, and system using same Download PDF

Info

Publication number
WO2016018006A1
WO2016018006A1 PCT/KR2015/007741 KR2015007741W WO2016018006A1 WO 2016018006 A1 WO2016018006 A1 WO 2016018006A1 KR 2015007741 W KR2015007741 W KR 2015007741W WO 2016018006 A1 WO2016018006 A1 WO 2016018006A1
Authority
WO
WIPO (PCT)
Prior art keywords
image frame
image
surveillance object
box
surveillance
Prior art date
Application number
PCT/KR2015/007741
Other languages
French (fr)
Korean (ko)
Inventor
이동훈
임희진
유수인
이승준
김정민
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Publication of WO2016018006A1 publication Critical patent/WO2016018006A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a method and apparatus for detecting collapse in an image and a system using the same. More specifically, the present invention relates to a method and apparatus for detecting collapse in an image capable of detecting a collapsed state of an object such as a person in the image and a system using the same.
  • a method of detecting an object's movement in an image includes a method of detecting an object's movement through color analysis or feature point extraction.
  • An event for determining whether an event occurs is an example of determining the collapse of an object such as a person.
  • An object of the present invention is to provide a method and apparatus for detecting collapse in an image that can be detected even if an object such as a person falls in any direction, and a system using the same.
  • a method of detecting a fall in an image including detecting a surveillance object in N image frames from a first image frame; Displaying a surveillance object detected in each image frame in the form of a box; Calculating an amount of change in the long axis length in each box type representing the surveillance object detected in the remaining video frames other than the first image frame based on the long axis length in the box shape indicating the surveillance object detected in the first image frame ; Calculating a distance between an upper edge center point in the box form representing the surveillance object detected in the first image frame and an upper edge center point in each box form representing the surveillance object detected in the remaining image frames except for the first image frame; And detecting a fall of the surveillance object by using the calculated change amount of the long axis length and the calculated distance between the center point of the upper side.
  • the detecting of the collapse of the surveillance object may include: a value obtained by multiplying a distance between the long axis center point and the change amount of the long axis length calculated using the first image frame and a specific image frame is equal to or greater than a preset value
  • the method may further include detecting that the surveillance object has fallen in the specific image frame.
  • the calculating of the change amount of the long axis length may include: a long axis in each box type representing a surveillance object detected in the first image frame and the remaining image frame in consideration of the size of the object according to the perspective.
  • the method may further include correcting the change amount of the length.
  • the correcting of the change amount of the long axis length may include: a box shape indicating a surveillance object detected in the first image frame and a box shape representing a long axis length and a surveillance object detected in the remaining image frames.
  • the method may further include dividing the amount of change in the long axis length by the long axis length in a box form representing the surveillance object detected in the first image frame, and multiplying it by 100 to correct the amount of change in the long axis length.
  • the box shape includes two sides, a top side, and a bottom side in a long axis direction, and in the box form representing a surveillance object detected in the Nth image frame, the N- A point adjacent to the center point of the lower side in the box form representing the surveillance object detected in the first image frame may be determined as the center point of the bottom side in the box form representing the surveillance object detected in the Nth image frame.
  • the calculating of the distance between the upper center points may include: a box form representing a surveillance object detected in the first image frame and a box form representing a surveillance object detected in the lower center and the remaining image frames.
  • the method may further include calculating a distance between the upper center points after moving a box shape representing each surveillance object detected in the remaining image frames such that the lower center points coincide with each other.
  • the monitoring object is a specific person
  • the box shape is composed of two sides in the long axis direction, the upper side and the lower side, the upper end of the head of the particular person is located, the lower side is the specific A person's foot is located and the length of the long axis may be proportional to the height of the particular person.
  • the watched object after detecting the fall of the watched object, if the box shape does not change more than a predetermined level for a preset time, the watched object remains in a collapsed state. It may further comprise the step of determining.
  • the determining that the watched object is in a collapsed state may include: a predetermined range or more of a box shape indicating a watched object detected in a preset number of frames after the frame of the watched object has been sensed.
  • the method may further include determining that the surveillance object maintains the collapsed state when it matches the box shape indicating the surveillance object detected in the frame in which the collapse is detected.
  • the step of displaying the surveillance object in the form of a box may further include the step of applying a principal component analysis (PCA, Principal Component Analysis) using contour pixel information of the surveillance object. can do.
  • PCA principal component analysis
  • a apparatus for detecting a fall in an image including: an object detector configured to detect a surveillance object in N image frames from a first image frame; A box unit for displaying the surveillance object detected in each image frame in a box form; A long axis for calculating a change amount of a long axis length in each box shape representing a surveillance object detected in the remaining video frames except for the first image frame based on the long axis length in the box shape representing the surveillance object detected in the first image frame.
  • Length change calculation unit An upper edge center point distance for calculating a distance between an upper edge center point in a box shape representing a surveillance object detected in the first image frame and an upper edge center point in each box shape representing a surveillance object detected in the other image frames except for the first image frame.
  • a calculator ; And a fall detection unit that senses a fall of the surveillance object by using the calculated change in the major axis length and the calculated distance between the center point of the upper side.
  • the fall detection system the imaging device for generating an image frame;
  • the surveillance object is detected in each of N image frames from the first image frame, and the surveillance object detected in each frame is represented by a box, and in the box form representing the surveillance object detected by the first image frame.
  • the amount of change in the long axis length is calculated in each box form representing the surveillance object detected in the remaining image frames except the first image frame based on the long axis length, and in the box form representing the surveillance object detected in the first image frame.
  • the computer-readable recording medium according to the fourth aspect of the present invention for achieving the above technical problem may be a computer program for performing the fall detection method in the image.
  • FIG. 1 is a block diagram of a device for detecting a fall in an image according to an exemplary embodiment.
  • FIG. 2 is a diagram for explaining an example in which a boxer displays a surveillance object detected in an image frame in a box form.
  • FIG. 3 is a view for explaining another example in which a boxing unit shows, in a box form, a monitored object detected using a principal component analysis method.
  • FIG. 4 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls toward the image capturing apparatus.
  • FIG. 5 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls to the left or right direction based on the image photographing apparatus.
  • FIG. 6 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls toward a direction in which the image photographing apparatus captures an image.
  • FIG. 7 is a diagram for explaining an example in which the fall maintaining determination unit determines that the surveillance object maintains the collapsed state.
  • FIG. 8 is a flowchart illustrating a fall detection method for an image according to another exemplary embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an example of a method of calculating a long axis length change amount.
  • 10 is a view for explaining an example of correcting each of the major axis lengths and calculating the amount of change in the major axis lengths.
  • 11 is a flowchart illustrating an example of a method of calculating a distance between upper edge center points.
  • FIG. 12 is a diagram for describing an example of calculating a distance between upper edge center points.
  • FIG. 13 is a diagram illustrating an example of applying a fall detection method to an image, according to another exemplary embodiment.
  • FIG. 14 is another configuration diagram of the apparatus for detecting a fall in an image according to an exemplary embodiment.
  • 15 is a configuration diagram illustrating a system for detecting a fall in an image according to another exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram of a device for detecting a fall in an image according to an exemplary embodiment.
  • the apparatus 100 for detecting fall in an image may include an object detector 110, a boxer 120, a long axis length change calculator 130, and an upper edge center point distance calculator. 140 and a fall detection unit 150, and may further include a fall maintaining determiner 160.
  • the object detector 110 detects a surveillance object from image frames collected from an image capturing apparatus such as a camera.
  • the object detector 110 detects the surveillance object in the first image frame, detects the same surveillance object in the second image frame, and detects the third image frame.
  • the same surveillance object may be detected in, the same surveillance object is detected in the fourth image frame, and the surveillance object may be detected in the fifth image frame.
  • the same watched object means that the object is the same, and does not mean that the object is the same position or shape. Even if the object of the same target, the position or shape of the object may be changed for each image frame according to the movement of the object.
  • the surveillance object detected by the object detector 110 may be detected in every frame, or may be detected only in some frames.
  • the object detecting unit 110 may detect a surveillance object in a frame using a known technique.
  • the monitoring object to detect the fall may be a person, but is not limited thereto, and may be a non-human object.
  • the boxing unit 120 may represent the surveillance object detected in each frame in the form of a box.
  • the boxing unit 120 displays the surveillance object detected in the first image frame in the form of a box, represents the surveillance object detected in the second image frame in the form of a box, and displays the surveillance object detected in the third image frame. It can be represented as a box.
  • the boxer 120 may represent the surveillance object detected in each image frame by the object detector 110 in the form of a box by using a principal component analysis (PCA) method.
  • PCA principal component analysis
  • FIG. 2 is a diagram for explaining an example in which a boxer displays a surveillance object detected in an image frame in a box form.
  • the object detector 110 detects a person sitting with his arms extended in an image frame and displays the detected surveillance object in the form of a box.
  • the box shape shown in (a) of FIG. 2 is a box shape generated to include the outermost angle of the detected surveillance object.
  • (a) of FIG. 2 may lead to a somewhat inaccurate result in the fall detection result of the object due to a component due to an extended arm, which has little correlation with the main component for analyzing the fall of the object.
  • the boxing unit 120 of the apparatus 100 for detecting a fall in an image may display the monitored object detected using a principal component analysis method in the form of a box.
  • Principal component analysis method can use the existing well-known content.
  • the boxing unit 120 analyzes a principal component using a principal component analysis method at contour points of the detected monitoring object, and rotates using the analyzed principal component. It can represent a box shape.
  • FIG. 3 is a view for explaining another example in which a boxing unit shows, in a box form, a monitored object detected using a principal component analysis method.
  • FIG. 3 (a) is shown in the form of a box based on the outermost angle of the detected monitoring object.
  • (b) is shown in the form of a box around the main component of the detected monitoring object.
  • the boxing unit 120 uses the principal component analysis method in FIG. 2 to improve the accuracy of detecting the fall of the object, rather than presenting the detected monitoring object in the form of a box as shown in FIGS. 2A and 3A. b) and
  • FIG. 3 it is preferable to display the detected monitoring object in the form of a box as shown in (b).
  • the boxing unit 120 represents only one example of the monitored object detected using the principal component analysis method in the form of a box, but is not limited thereto.
  • the boxing unit 120 may display the monitored object detected in a box form using a method other than the principal component analysis method.
  • the boxed unit 120 displays the monitored object detected in each image frame in the form of a box, it is preferable to display the detected surveillance object in the form of a box by using the same method for each image frame.
  • FIG. 4 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls toward the image capturing apparatus.
  • 41a and 41b show surveillance objects detected in the first image frame in the form of a box.
  • 42a and 42b show surveillance objects detected in an image frame (K-th frame) photographed after the first image frame in the form of a box.
  • 43a and 43b show surveillance objects detected in an image frame photographed after the K-th image frame in the form of a box.
  • the length of the long axis in the form of a box is longer or the same, and the movement of the upper center point when the pollen or the person, a watched object, falls down toward the imaging device. You can see the distance is long.
  • the major axis length is proportional to the height of the person if the watch object is a person.
  • the box shape is composed of two sides, the upper side and the lower side of the long axis.
  • the upper side is located at the tip of the head of the person, which is a surveillance object, and the specific human foot is located at the lower side. Similar to humans, when a monitored object is an object, the upper end of the object will be located on the upper side while the object is standing in the normal state, and the lower end of the object will be located on the lower side.
  • the upper edge center point corresponds to the center on the upper side
  • the lower edge center point corresponds to the center on the lower side
  • the tip of the person's head is not necessarily located on the upper side, and the person's feet are not located on the lower side. Some differences may occur depending on how the boxer 120 displays the monitored object in the form of a box. In addition, as the watchdog object falls, the positions of the upper and lower sides may be reversed. For example, in the case where the monitoring object is a human, the upper side and the lower side of the box shape are defined as the upper side and the lower side near the human foot.
  • the foot will be positioned near the lower side of the box shape representing the surveillance object detected in the first image frame.
  • M-th lower center point the upper center point
  • M-th upper center point M-1 image among the lower center point and the upper edge center point in the form of a box representing a surveillance object detected in the M-th image frame (1 ⁇ M ⁇ N).
  • the center point closer to the lower center point may be determined as the Mth lower center point.
  • FIG. 5 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls to the left or right direction based on the image photographing apparatus.
  • (a) is a case in which the pollen, which is a monitoring object, falls in the left direction
  • (b) is a case in which a person, which is a monitoring object, falls in the right direction.
  • 51a and 51b show surveillance objects detected in the first image frame in the form of a box.
  • 52a and 52b show surveillance objects detected in an image frame (L-th frame) photographed after the first image frame in the form of a box.
  • 53a and 53b show surveillance objects detected in an image frame captured after the L-th image frame in the form of a box.
  • FIG. 6 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls toward a direction in which the image photographing apparatus captures an image.
  • 61a and 61b show surveillance objects detected in the first image frame in the form of a box.
  • 62a and 62b show surveillance objects detected in an image frame (M-th frame) photographed after the first image frame in the form of a box.
  • 63a and 63b show surveillance objects detected in an image frame captured after the M-th image frame in the form of a box.
  • the present invention detects the fall of the surveillance object by using a combination of the change in the long axis length and the distance between the center of the upper edge.
  • the present invention can sense not only the person but also the fall of an object.
  • the present invention may detect the fall of two or more surveillance objects by detecting two or more surveillance objects in one image frame.
  • the long axis length variation calculating unit 130 has a long axis in each box shape representing a surveillance object detected in the remaining video frame except for the first video frame based on the long axis length in the box shape representing the surveillance object detected in the first image frame. The amount of change in length can be calculated.
  • the upper edge center point distance calculating unit 140 is configured between the upper edge center point and the upper edge center point in each box type representing the surveillance object detected in the remaining image frames except the first image frame in the box form representing the surveillance object detected in the first image frame. The distance can be calculated.
  • the first image frame may mean the first frame of the image captured by the image capturing apparatus, but means the first frame of the frames used to detect the fall of the surveillance object. Also, the surveillance object in the first image frame is generally in a standing state, which is a state before falling.
  • the frames used to detect the surveillance object may use all the image frames generated by the image capturing apparatus, only the image frames corresponding to a predetermined period may be used.
  • the frame used by the present invention to detect the surveillance object may use only an image frame corresponding to a multiple of 5 of the 30 image frames. That is, if the image capturing apparatus generates 18000 image frames in 10 minutes, the present invention may use about 3600 frames in 10 minutes for detecting the surveillance object.
  • the frame used to detect the surveillance object according to the present invention may be set in consideration of the image capturing capability of the image capturing apparatus, the computational performance of the computer, the speed of falling detection, and the like.
  • the fall detection unit 150 may detect the fall of the monitoring object by using the calculated change in the major axis length and the calculated distance between the center points.
  • the fall detector 150 may multiply the calculated change in the major axis length by the calculated distance between the calculated center points, and detect that the monitor object has fallen when the multiplied value is greater than or equal to a preset value.
  • the fall detection unit 150 detects that the monitoring object is collapsed in the specific frame when the value obtained by multiplying the distance between the first axis and the length of the long axis calculated by using the specific frame and the distance between the upper center point is equal to or more than a preset value. can do.
  • the fall maintaining determiner 160 detects the fall of the watched object by the fall detector 150, and when the box form representing the watched object does not change more than a predetermined level for a preset time, the watched object is in a collapsed state. Can be determined to be maintained.
  • the fall maintaining determiner 160 may determine whether or not the case has occurred again soon, even if it is determined by the fall detector 150 that the monitored object has fallen.
  • FIG. 7 is a diagram for explaining an example in which the fall maintaining determination unit determines that the surveillance object maintains the collapsed state.
  • the collapse maintaining determiner 160 detects a surveillance object detected in a frame that detects a fall of a predetermined range or more in a box form indicating a surveillance object detected in a preset number of frames after the frame of the surveillance object is collapsed. If it matches the box type that it represents, it can be determined that the watched object has fallen.
  • the preset number of frames may be set in consideration of the time for which the watched object can be considered to be in a collapsed state. For example, if there is no significant change in the box shape for 4 seconds, when it is considered to be in a collapsed state, a frame corresponding to 4 seconds may be a predetermined number of frames.
  • F N denotes a box form indicating a surveillance object detected in the N-th image frame
  • F N ⁇ 1 denotes a box form indicating a surveillance object detected in the N-th image frame.
  • the fall detection unit 150 determines that the surveillance object is collapsed in the N-th image frame.
  • F N -1 and F N can be seen to coincide with most box-shaped regions. In this case, you can determine that the watched object has fallen.
  • the long axis length variation calculator 130 may be applied.
  • FIG. 8 is a flowchart illustrating a fall detection method for an image according to another exemplary embodiment of the present invention.
  • the apparatus 100 for detecting falling in an image detects a surveillance object in each of the plurality of image frames (S810).
  • the apparatus 100 for detecting falling in an image displays each of the surveillance objects detected in the plurality of image frames in the form of a box (S820).
  • the fall detection apparatus 100 calculates a long axis length change amount in the image (S830).
  • the fall detection apparatus 100 in the image calculates the distance between the center points of the upper sides (S840).
  • the apparatus 100 for detecting a fall in the image determines whether the surveillance object falls by using the calculated long axis length change amount and the calculated distance between the center points of the upper edges (S850).
  • the apparatus 100 may determine whether the surveillance object maintains the collapsed state (S860).
  • the content of the fall maintaining determiner 160 described with reference to FIGS. 1 and 7 may be applied. .
  • the alarm device may provide a notification visually and / or audibly to the manager (S870).
  • FIG. 9 is a flowchart illustrating an example of a method of calculating a long axis length change amount.
  • the apparatus 100 for detecting falling in an image calculates a long axis length (hereinafter, referred to as a “first long axis length”) in a box shape representing a surveillance object detected in a first image frame (S831).
  • the apparatus 100 for detecting falling in an image calculates each long axis length (hereinafter, referred to as "remaining long axis length") in each box form representing a surveillance object detected in the other image frames except for the first image frame (S833). ).
  • the fall detection apparatus 100 corrects each of the remaining long axis lengths by using the first long axis length in operation S835.
  • 10 is a view for explaining an example of correcting each of the major axis lengths and calculating the amount of change in the major axis lengths.
  • F 1 represents a surveillance object detected in a first image frame in the form of a box.
  • F N represents the surveillance object detected in the Nth image frame in the form of a box.
  • the long axis length of the box shape F 1 representing the surveillance object detected in the first image frame is 60.
  • the long axis length of the box form F N representing the surveillance object detected in the Nth image frame is 55.
  • the size of the box shape may vary depending on whether the monitoring object is located close to an image capturing device such as a camera. In other words, it is necessary to minimize the effect of perspective on the size of the box shape.
  • the fall detection apparatus 100 in the image may correct the size of the object by multiplying the length of the long axis of F N by the length of the long axis of 100 / F 1 .
  • the collapse detection apparatus 100 in the image may multiply the length of the long axis of F1 by 100 / F1 to make it 100.
  • sseureojim sensing device 100 in the image is multiplied by (the length of the major axis of the 1 F) 100/60 to the length of the major axis of the F 1. Also, the fall detection apparatus 100 in the image multiplies 55, which is the length of the long axis of F N , by 100/60.
  • the corrected long axis length of F1 is 100
  • the corrected long axis length of FN is 91.67.
  • the fall detection apparatus 100 in the image may calculate a change amount based on a difference between each of the corrected first long axis length and the remaining corrected long axis length.
  • the difference between the corrected first long axis length 100 and the corrected Nth long axis length 91.67 is 8.33.
  • 8.33 can be the amount of change in the length of the first long axis and the length of the Nth long axis.
  • Comparison frame Long axis length of the comparison frame Calibrated long axis length Long axis length change 2 59 59.4 One 3 59 98.3 1.7 4 58 96.7 3.3 5 57 95 5 6 56 93.3 6.7 7 55 91.7 8.3 8 54 90 10
  • the long axis length is 60 and the corrected long axis length is 100 in the box form representing the surveillance object detected in the first image frame.
  • the unit of the long axis length may be set in consideration of the pixels of the image frame. For example, when the pixel corresponding to the long axis length is 55 pixels, the long axis length may be 55 pixels.
  • Comparison frame 2 refers to the second image frame and comparison frame 8 refers to the eighth image frame. That is, the comparison frame refers to the order of the frames, and the higher the number, the larger the time difference from the first image frame.
  • the long axis length of the comparison frame becomes the long axis length in the form of a box representing the surveillance object detected in the comparison frame.
  • the corrected long axis length is a value obtained by correcting the long axis length as described above with reference to FIG. 10.
  • the long-axis length change amount means a difference between the corrected long-axis length 100 and the corrected long-axis length of the comparison frame.
  • the method for calculating the long axis length change amount described with reference to FIG. 9 may be performed by the long axis length change amount calculation unit 130 of the fall detection apparatus 100 in an image according to an exemplary embodiment.
  • 11 is a flowchart illustrating an example of a method of calculating a distance between upper edge center points.
  • first upper center point the top of the center point (hereinafter, referred to as “first upper center point”) and the bottom side center point (hereinafter, referred to as “first upper side center point”) in a box form in which a fall detection apparatus 100 in an image indicates a surveillance object detected in a first image frame.
  • first upper center point the top of the center point
  • first upper side center point the bottom side center point
  • first upper side center point the bottom side center point
  • the fall detection apparatus 100 in the image detects each lower center point in a box form (hereinafter, referred to as a "remaining box form") representing a surveillance object detected in the other image frames except the first image frame (S843).
  • a box form hereinafter, referred to as a "remaining box form” representing a surveillance object detected in the other image frames except the first image frame (S843).
  • the fall detection apparatus 100 in the image moves the remaining box shapes in parallel so that each lower center point detected in the remaining box shapes coincides with the position of the first lower center point (S845).
  • the apparatus 100 for detecting falling in the image detects an upper center point (hereinafter, referred to as a "left upper center point") of each of the remaining box shapes (S847).
  • the fall detection apparatus 100 in the image calculates a distance between each of the remaining upper edge center points and the first upper edge center point (S849).
  • FIG. 11 A specific example of FIG. 11 will be described with reference to FIG. 12.
  • FIG. 12 is a diagram for describing an example of calculating a distance between upper edge center points.
  • F1 and FN are the same as that described with reference to FIG. That is, F 1 represents the surveillance object detected in the first image frame in the form of a box, and F N represents the surveillance object detected in the Nth image frame in the form of a box.
  • the reason for calculating the distance between the upper center points is that the head position changes when a person falls. The same is true for things that are not humans.
  • the fall detection apparatus 100 in the image matches the foot position of the person detected in the remaining image frames with the foot position of the person, which is a surveillance object detected in the first image frame, to calculate the moving distance of the pure human head. You can calculate the moving distance of the head.
  • Sseureojim in the image sensing device 100 may calculates the distance to the upper side of the center point F 1 P U1 and UN P 'to calculate the distance between F 1 and F N and the center point of the phase transition.
  • the distance between the upper center points may be expressed in units such as pixels.
  • the reference image frame is the first image frame like Table 1.
  • the comparison frame has the same meaning as in Table 1. That is, a distance of 3 pixels between the upper center point after moving the lower center point of the comparison frame 2 moves the box form representing the upper center point and the surveillance object detected in the second image frame from the box form representing the surveillance object detected in the first image frame. This means that the distance between the center points of the later phases is 3 pixels.
  • the method for calculating the distance between the upper center points described with reference to FIG. 11 may be performed by the upper center point distance calculator 140 of the apparatus 100 for detecting a fall in an image according to an exemplary embodiment.
  • the fall detection apparatus 100 may determine whether the surveillance object falls by using a product of the calculated long axis length change and the calculated distance between the center points of the upper edges.
  • the apparatus 100 for detecting falling in an image may detect that the surveillance object is collapsed in the corresponding comparison frame when a value obtained by multiplying the distance between the long axis length change calculated for each comparison frame and the distance between the upper center point and the preset value is greater than or equal to a preset value.
  • Comparison frame Long axis length change Distance between top edge center points in pixel F-Value 2 One 3 3 3 1.7 10 17 4 3.3 35 115.5 5 5 87 435 6 6.7 174 1165.8 7 8.3 330 2739 8 10 370 3700
  • Table 3 has shown the value which multiplied the value of Table 1 which shows the example of the calculated amount of long-axis length change, and Table 2 which shows an example of the distance between the upper edge center point.
  • the F-Value is a value obtained by multiplying the distance between the major axis length change amount and the upper edge center point calculated using the first frame having the reference frame and the same comparison frame.
  • the fall detection apparatus 100 in the image may determine that the surveillance object falls in a corresponding frame when the value of the F-Value is equal to or greater than a preset value.
  • the fall detection apparatus 100 in the image may determine that the surveillance object falls in the seventh image frame. If there is no value more than the preset value in any video frame, it may be able to continuously detect the fall of the monitoring object by using a frame of a lower rank in time.
  • the fall detection method in the image according to another embodiment of the present invention can accurately detect the fall of the watched object regardless of the direction in which the watched object falls by determining the fall of the watched object using the F-Value.
  • FIG. 13 is a diagram illustrating an example of applying a fall detection method to an image, according to another exemplary embodiment.
  • the fall detection method of an image according to another exemplary embodiment of the present invention may be applied to a case where a plurality of objects exist in one image frame.
  • the falling object when a plurality of objects exist in one image frame, the falling object may be detected by applying the fall detection method in the image to all objects. Therefore, the fall detection method in the image according to another embodiment of the present invention can detect the fall for a plurality of objects at the same time.
  • the fall detection method of an image as described above may be embodied as computer readable codes on a computer readable recording medium.
  • the recording medium implementing the fall detection method in the image according to the present invention detects the surveillance object in the N image frames from the first image frame, respectively, and the surveillance object detected in each frame
  • the step of displaying in the form in the box form indicating the surveillance object detected in the first image frame, the length of the long axis in each box form representing the surveillance object detected in the remaining image frame other than the first image frame based on the long axis length Computing the amount of change, the distance between the center of the upper edge in the box form indicating the surveillance object detected in the first image frame and the center of the upper edge in each box form representing the surveillance object detected in the remaining image frame except the first image frame
  • a program for performing a process of detecting a fall of the surveillance object may be recorded by using a distance between the top-viewed center points.
  • Computer-readable recording media include all kinds of recording media on which data that can be read by a computer system is stored. Examples of computer-readable recording media include RAM, ROM, CD-ROM, magnetic tape, optical data storage, floppy disk, and the like, and may be implemented in the form of a carrier wave or transmission via the Internet.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the recording method can be easily inferred by programmers in the art to which the present invention belongs.
  • FIG. 14 is another configuration diagram of the apparatus for detecting a fall in an image according to an exemplary embodiment.
  • the apparatus 100 for detecting falling in an image may have a configuration illustrated in FIG. 14.
  • the apparatus 100 for detecting falling in an image may include a processor 20 for executing a command, a storage 40 in which the falling detection program data is stored in an image, a memory 30 such as a RAM, and an external device.
  • the data bus 10 may be connected to the network interface 50, the processor 20, and the memory 30 to serve as a data movement path. It may also include a database 60 in which image frames and the like are stored.
  • 15 is a configuration diagram illustrating a system for detecting a fall in an image according to another exemplary embodiment of the present invention.
  • the fall detection system 1000 in an image includes an image photographing device 200 such as a camera, a fall detection device 100 in an image, and a notification device 300.
  • the image capturing apparatus 200 may generate an image frame by capturing an image and transmit the generated image frame to the collapse detection apparatus 100 in the image.
  • the apparatus 100 for detecting a fall in an image will not be described repeatedly with reference to FIGS. 1 to 14.
  • the notification device 300 may provide a notification visually and / or acoustically to the manager when the monitor object maintains the collapsed state by the fall detection device 100 in the image.
  • Each component of FIG. 1 may refer to software or hardware such as a field-programmable gate array (FPGA) or an application-specific integrated circuit (ASIC).
  • FPGA field-programmable gate array
  • ASIC application-specific integrated circuit
  • the components are not limited to software or hardware, and may be configured to be in an addressable storage medium and may be configured to execute one or more processors.
  • the functions provided in the above components may be implemented by more detailed components, or may be implemented as one component that performs a specific function by combining a plurality of components.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

A method for sensing a collapse in an image, according to one embodiment of the present invention, can comprise the steps of: detecting an object being monitored, in N number of image frames from a first image frame; displaying, in a box form, the object being monitored detected from the respective image frames; calculating a variation of a major axis length in each box form for indicating an object being monitored detected from the remaining image frames excluding the first image frame, on the basis of the major axis length in the box form for indicating the object being monitored detected from the first image frame; calculating a distance between an upper side central point in the box form for indicating the object being monitored detected from the first image frame and an upper side central point in each box form for indicating the object being monitored detected from the remaining image frames excluding the first image frame; and sensing a collapse of the object being monitored by using the calculated variation of the long axis length and the calculated distance between the upper side central points.

Description

영상에서의 쓰러짐 감지 방법 및 장치와 이를 이용한 시스템Fall detection method and device in image and system using same
본 발명은 영상에서의 쓰러짐 감지 방법 및 장치와 이를 이용한 시스템에 관한 것이다. 보다 상세하게는, 본 발명은 영상에서의 사람 등의 객체가 쓰러진 상태를 감지할 수 있는 영상에서의 쓰러짐 감지 방법 및 장치와 이를 이용한 시스템에 관한 것이다.The present invention relates to a method and apparatus for detecting collapse in an image and a system using the same. More specifically, the present invention relates to a method and apparatus for detecting collapse in an image capable of detecting a collapsed state of an object such as a person in the image and a system using the same.
카메라 등에 의하여 수집되는 영상 데이터를 통해 객체의 움직임을 감지하는 다양한 방법이 존재한다. 예를 들면, 영상에서 객체의 움직임을 감지하는 방법으로는 색상 분석이나 특징점 추출 등을 통하여 객체의 움직임을 감지하는 방법이 존재한다.Various methods exist for detecting the movement of an object through image data collected by a camera. For example, a method of detecting an object's movement in an image includes a method of detecting an object's movement through color analysis or feature point extraction.
객체의 움직임을 감지하는 것에 나아가 특정 이벤트가 발생하는지 여부를 판단하는 다양한 방법도 존재한다.In addition to detecting the movement of an object, there are various methods for determining whether a specific event occurs.
발생 여부를 판단하고자 하는 이벤트로는 사람 등의 객체의 쓰러짐을 판단하는 예가 있다.An event for determining whether an event occurs is an example of determining the collapse of an object such as a person.
영상에서 사람의 쓰러짐을 판단하는 방법으로는 색상 분석을 통한 방법이나 박스(Box)의 가로와 세로 비율 변화를 통해 쓰러짐을 판단하는 방법이 있다.As a method of determining the fall of a person in the image, there is a method through color analysis or a method of determining fall by changing the aspect ratio of a box.
그러나, 색상 분석을 통한 방법의 경우 빛 또는 조명 상태에 따른 색상 변화로 인하여 객체를 인식하는 것이 어려운 경우가 많다.However, in the case of the method through the color analysis, it is often difficult to recognize the object due to the color change according to the light or illumination state.
또한, 박스의 가로와 세로 비율 변화를 통해 사람의 쓰러짐을 판단하는 방법의 경우 사람이 좌측 또는 우측 방향으로 쓰러지는 형태는 비교적 잘 감지할 수 있으나, 앞쪽 방향 또는 뒤쪽 방향으로 쓰러지는 형태는 감지하는 것이 극히 어려운 문제가 존재한다.In addition, in the case of a method of judging the fall of a person by changing the aspect ratio of the box, it is relatively well sensed that the person falls in the left or right direction, but it is extremely important to detect the shape that falls in the forward or backward direction. Difficult problems exist.
본 발명의 일 실시예가 해결하고자 하는 기술적 과제는, 사람 등의 객체가 어느 방향으로 쓰러지더라도 감지할 수 있는 영상에서의 쓰러짐 감지 방법 및 장치와 이를 이용한 시스템을 제공하는 것이다.An object of the present invention is to provide a method and apparatus for detecting collapse in an image that can be detected even if an object such as a person falls in any direction, and a system using the same.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.Technical problems of the present invention are not limited to the above-mentioned technical problems, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 기술적 과제를 달성하기 위한 본 발명의 제1 태양(ASPECT)에 따른 영상에서의 쓰러짐 감지 방법은 제1 영상 프레임부터 N개의 영상 프레임에서 감시 객체를 검출하는 단계; 상기 각각의 영상 프레임에서 검출된 감시 객체를 박스(Box) 형태로 나타내는 단계; 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이를 기준으로 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 산출하는 단계; 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 상변 중심점 간의 거리를 산출하는 단계; 및 상기 산출된 장축 길이의 변화량 및 상기 산출된 상변 중심점 간의 거리를 이용하여 상기 감시 객체의 쓰러짐을 감지하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of detecting a fall in an image, the method including detecting a surveillance object in N image frames from a first image frame; Displaying a surveillance object detected in each image frame in the form of a box; Calculating an amount of change in the long axis length in each box type representing the surveillance object detected in the remaining video frames other than the first image frame based on the long axis length in the box shape indicating the surveillance object detected in the first image frame ; Calculating a distance between an upper edge center point in the box form representing the surveillance object detected in the first image frame and an upper edge center point in each box form representing the surveillance object detected in the remaining image frames except for the first image frame; And detecting a fall of the surveillance object by using the calculated change amount of the long axis length and the calculated distance between the center point of the upper side.
일 실시예에 따르면, 상기 감시 객체의 쓰러짐을 감지하는 단계는, 상기 제1 영상 프레임과 특정 영상 프레임을 이용하여 산출된 상기 장축 길이의 변화량과 상기 상변 중심점 간의 거리를 곱한 값이 기 설정된 값 이상이 되는 경우, 상기 특정 영상 프레임에서 상기 감시 객체가 쓰러진 것으로 감지하는 단계를 더 포함할 수 있다.According to an embodiment, the detecting of the collapse of the surveillance object may include: a value obtained by multiplying a distance between the long axis center point and the change amount of the long axis length calculated using the first image frame and a specific image frame is equal to or greater than a preset value In this case, the method may further include detecting that the surveillance object has fallen in the specific image frame.
일 실시예에 따르면, 상기 장축 길이의 변화량을 산출하는 단계는, 상기 원근에 따른 객체의 크기를 고려하여 상기 제1 영상 프레임 및 상기 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 보정하는 단계를 더 포함할 수 있다.According to an embodiment, the calculating of the change amount of the long axis length may include: a long axis in each box type representing a surveillance object detected in the first image frame and the remaining image frame in consideration of the size of the object according to the perspective. The method may further include correcting the change amount of the length.
일 실시예에 따르면, 상기 장축 길이의 변화량을 보정하는 단계는, 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이 및 상기 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량에 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이로 나누고 100을 곱하여 보정하는 단계를 더 포함할 수 있다.According to an embodiment of the present disclosure, the correcting of the change amount of the long axis length may include: a box shape indicating a surveillance object detected in the first image frame and a box shape representing a long axis length and a surveillance object detected in the remaining image frames. The method may further include dividing the amount of change in the long axis length by the long axis length in a box form representing the surveillance object detected in the first image frame, and multiplying it by 100 to correct the amount of change in the long axis length.
일 실시예에 따르면, 상기 박스 형태는 장축 방향의 두 변, 상변 및 하변으로 구성되며, 상기 제N 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변의 중심점과 하변의 중심점 중 상기 제N-1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서의 하변의 중심점과 인접한 점을 상기 제N 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 하변의 중심점으로 결정할 수 있다. According to an embodiment, the box shape includes two sides, a top side, and a bottom side in a long axis direction, and in the box form representing a surveillance object detected in the Nth image frame, the N- A point adjacent to the center point of the lower side in the box form representing the surveillance object detected in the first image frame may be determined as the center point of the bottom side in the box form representing the surveillance object detected in the Nth image frame.
일 실시예에 따르면, 상기 상변 중심점 간의 거리를 산출하는 단계는, 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 하변 중심부와 상기 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 하변 중심점이 일치되도록 상기 나머지 영상 프레임에서 검출된 각각의 감시 객체를 나타내는 박스 형태를 이동한 후, 상기 상변 중심점 간의 거리를 산출하는 단계를 더 포함할 수 있다.According to an embodiment, the calculating of the distance between the upper center points may include: a box form representing a surveillance object detected in the first image frame and a box form representing a surveillance object detected in the lower center and the remaining image frames. The method may further include calculating a distance between the upper center points after moving a box shape representing each surveillance object detected in the remaining image frames such that the lower center points coincide with each other.
일 실시예에 따르면, 상기 감시 객체는 특정 사람이고, 상기 박스 형태는 장축 방향의 두 변, 상변 및 하변으로 구성되며, 상기 상변에는 상기 특정 사람의 머리 끝 부분이 위치하며, 상기 하변에는 상기 특정 사람의 발이 위치하며, 상기 장축의 길이는 상기 특정 사람의 키에 비례할 수 있다.According to one embodiment, the monitoring object is a specific person, the box shape is composed of two sides in the long axis direction, the upper side and the lower side, the upper end of the head of the particular person is located, the lower side is the specific A person's foot is located and the length of the long axis may be proportional to the height of the particular person.
일 실시예에 따르면, 상기 영상에서의 쓰러짐 감지 방법은, 상기 감시 객체의 쓰러짐을 감지한 후, 기 설정된 시간 동안 상기 박스 형태가 기 설정된 수준 이상 변화하지 않은 경우 상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 단계를 더 포함할 수 있다.According to an embodiment, in the fall detection method of the image, after detecting the fall of the watched object, if the box shape does not change more than a predetermined level for a preset time, the watched object remains in a collapsed state. It may further comprise the step of determining.
일 실시예에 따르면, 상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 단계는, 상기 감시 객체의 쓰럼짐을 감지한 프레임 이후 기 설정된 개수의 프레임에서 검출된 감시 객체를 나타내는 박스 형태의 일정 범위 이상이 상기 쓰러짐을 감지한 프레임에서 검출된 감시 객체를 나타내는 박스 형태와 일치하는 경우 상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 단계를 더 포함할 수 있다.According to an embodiment of the present disclosure, the determining that the watched object is in a collapsed state may include: a predetermined range or more of a box shape indicating a watched object detected in a preset number of frames after the frame of the watched object has been sensed. The method may further include determining that the surveillance object maintains the collapsed state when it matches the box shape indicating the surveillance object detected in the frame in which the collapse is detected.
일 실시예에 따르면, 상기 감시 객체를 박스 형태로 나타내는 단계는, 상기 감시 객체의 윤곽(Contour) 화소 정보를 이용하여 주성분 분석(PCA, Principal Component Analysis)를 적용하여 박스 형태로 나타내는 단계를 더 포함할 수 있다.According to an embodiment, the step of displaying the surveillance object in the form of a box may further include the step of applying a principal component analysis (PCA, Principal Component Analysis) using contour pixel information of the surveillance object. can do.
상기 기술적 과제를 달성하기 위한 본 발명의 제2 태양(ASPECT)에 따른 영상에서의 쓰러짐 감지 장치는, 제1 영상 프레임부터 N개의 영상 프레임에서 감시 객체를 검출하는 객체 검출부; 상기 각각의 영상 프레임에서 검출된 감시 객체를 박스(Box) 형태로 나타내는 박스화부; 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이를 기준으로 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 산출하는 장축 길이 변화량 산출부; 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 상변 중심점 간의 거리를 산출하는 상변 중심점 거리 산출부; 및 상기 산출된 장축 길이의 변화량 및 상기 산출된 상변 중심점 간의 거리를 이용하여 상기 감시 객체의 쓰러짐을 감지하는 쓰러짐 감지부를 포함할 수 있다.According to another aspect of the present invention, there is provided a apparatus for detecting a fall in an image, including: an object detector configured to detect a surveillance object in N image frames from a first image frame; A box unit for displaying the surveillance object detected in each image frame in a box form; A long axis for calculating a change amount of a long axis length in each box shape representing a surveillance object detected in the remaining video frames except for the first image frame based on the long axis length in the box shape representing the surveillance object detected in the first image frame. Length change calculation unit; An upper edge center point distance for calculating a distance between an upper edge center point in a box shape representing a surveillance object detected in the first image frame and an upper edge center point in each box shape representing a surveillance object detected in the other image frames except for the first image frame. A calculator; And a fall detection unit that senses a fall of the surveillance object by using the calculated change in the major axis length and the calculated distance between the center point of the upper side.
상기 기술적 과제를 달성하기 위한 본 발명의 제3 태양(ASPECT)에 따른 영상에서의 쓰러짐 감지 시스템은, 영상 프레임을 생성하는 영상 촬영 장치; 감시 객체를 제1 영상 프레임부터 N개의 영상 프레임에서 각각 검출하고, 상기 각각의 프레임에서 검출된 감시 객체를 박스(Box) 형태로 나타내고, 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이를 기준으로 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 산출하고, 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 상변 중심점 간의 거리를 산출하며, 상기 산출된 장축 길이의 변화량 및 상기 산출된 상변 중심점 간의 거리를 이용하여 상기 감시 객체의 쓰러짐을 감지하는 영상에서의 쓰러짐 감지 장치; 및 상기 감시 객체의 쓰러짐이 감지되면 시각적 또는 청각적으로 알림을 제공하는 알림 장치를 포함할 수 있다.According to a third aspect (ASPECT) of the present invention for achieving the technical problem, the fall detection system, the imaging device for generating an image frame; The surveillance object is detected in each of N image frames from the first image frame, and the surveillance object detected in each frame is represented by a box, and in the box form representing the surveillance object detected by the first image frame. The amount of change in the long axis length is calculated in each box form representing the surveillance object detected in the remaining image frames except the first image frame based on the long axis length, and in the box form representing the surveillance object detected in the first image frame. Calculating a distance between an upper edge center point in each box form representing a surveillance object detected in an image frame other than the upper edge center point and the first image frame, and using the calculated variation in the long axis length and the calculated upper edge center point Fall in the video to detect the fall of the surveillance object by Sensing devices; And it may include a notification device for providing a visual or audio notification when the monitor object falls.
상기 기술적 과제를 달성하기 위한 본 발명의 제4 태양(ASPECT)에 따른 컴퓨터로 읽을 수 있는 기록 매체는 영상에서의 쓰러짐 감지 방법을 수행하는 컴퓨터 프로그램이 기록된 것일 수 있다.The computer-readable recording medium according to the fourth aspect of the present invention for achieving the above technical problem may be a computer program for performing the fall detection method in the image.
본 발명의 일 실시예에 따르면, 감시 객체가 어느 방향으로 쓰러져도 감지가 가능하다.According to an embodiment of the present invention, it is possible to detect the watch object in any direction.
또한, 본 발명의 일 실시예에 따르면, 사람뿐만 아니라 다른 객체의 쓰러짐도 감지가 가능하다.In addition, according to an embodiment of the present invention, it is possible to detect not only the person but also the fall of other objects.
또한, 본 발명의 일 실시예에 따르면, 3D 카메라 등의 특수 장비를 사용하지 않고 객체의 쓰러짐을 감지할 수 있는 바, 비용이 저렴하며 일반 카메라를 사용할 수 밖에 없는 모든 장소에서 기존 인프라를 활용하여 적용이 가능하다.In addition, according to an embodiment of the present invention, it is possible to detect the fall of the object without using a special equipment such as a 3D camera bar, by using the existing infrastructure in all places where the cost is cheap and can only use a general camera Application is possible.
또한, 본 발명의 일 실시예에 따르면 사람의 쓰러짐을 감지하여 안전 사고에 빠른 대처가 가능하며, 화학물이나 위험물 등의 객체가 쓰러지는 것을 감지하여 사고를 방지하고 빠른 대처가 가능하다.In addition, according to an embodiment of the present invention, it is possible to quickly deal with a safety accident by detecting a fall of a person, and to prevent an accident and to respond quickly by detecting an object such as a chemical or a dangerous object falling down.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치에 관한 블록도이다.1 is a block diagram of a device for detecting a fall in an image according to an exemplary embodiment.
도 2는 박스화부가 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타내는 일 예를 설명하는 도면이다.FIG. 2 is a diagram for explaining an example in which a boxer displays a surveillance object detected in an image frame in a box form.
도 3은 박스화부가 주성분 분석 방법을 이용하여 검출된 감시 객체를 박스 형태로 나타낸 다른 예를 설명하는 도면이다.FIG. 3 is a view for explaining another example in which a boxing unit shows, in a box form, a monitored object detected using a principal component analysis method.
도 4는 감시 객체가 영상 촬영 장치를 향하여 쓰러진 경우 영상 프레임 별로 변화하는 박스 형태의 예를 나타내는 도면이다.4 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls toward the image capturing apparatus.
도 5는 감시 객체가 영상 촬영 장치를 기준으로 좌측 방향 또는 우측 방향으로 쓰러진 경우 영상 프레임 별로 변화하는 박스 형태의 예를 나타내는 도면이다.FIG. 5 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls to the left or right direction based on the image photographing apparatus.
도 6은 감시 객체가 영상 촬영 장치가 영상을 촬영하는 방향을 향하여 쓰러진 경우 영상 프레임 별로 변화하는 박스 형태의 예를 나타내는 도면이다.FIG. 6 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls toward a direction in which the image photographing apparatus captures an image.
도 7은 쓰러짐 유지 결정부가 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 일 예를 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining an example in which the fall maintaining determination unit determines that the surveillance object maintains the collapsed state.
도 8은 본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법에 관한 흐름도이다.8 is a flowchart illustrating a fall detection method for an image according to another exemplary embodiment of the present invention.
도 9는 장축 길이 변화량을 산출하는 방법의 일 예를 나타내는 흐름도이다.9 is a flowchart illustrating an example of a method of calculating a long axis length change amount.
도 10은 장축 길이 각각을 보정하고 장축 길이 변화량을 산출하는 일 예를 설명하는 도면이다.10 is a view for explaining an example of correcting each of the major axis lengths and calculating the amount of change in the major axis lengths.
도 11은 상변 중심점 간의 거리를 산출하는 방법의 일 예를 나타내는 흐름도이다.11 is a flowchart illustrating an example of a method of calculating a distance between upper edge center points.
도 12는 상변 중심점 간의 거리를 산출하는 일 예를 설명하기 위한 도면이다.12 is a diagram for describing an example of calculating a distance between upper edge center points.
도 13은 본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법이 적용되는 일 예를 나타내는 도면이다.FIG. 13 is a diagram illustrating an example of applying a fall detection method to an image, according to another exemplary embodiment.
도 14는 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치의 다른 구성도이다.14 is another configuration diagram of the apparatus for detecting a fall in an image according to an exemplary embodiment.
도 15는 본 발명의 또 다른 실시예에 따른 영상에서의 쓰러짐 감지 시스템에 관한 구성도이다.15 is a configuration diagram illustrating a system for detecting a fall in an image according to another exemplary embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention; Advantages and features of the present invention, and methods for achieving them will be apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various forms. The embodiments of the present invention make the posting of the present invention complete and the general knowledge in the technical field to which the present invention belongs. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used in a sense that can be commonly understood by those skilled in the art. In addition, the terms defined in the commonly used dictionaries are not ideally or excessively interpreted unless they are specifically defined clearly.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.In this specification, the singular may also include the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and / or “comprising” refers to the presence of one or more other components, steps, operations and / or elements. Or does not exclude additions.
도 1은 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치에 관한 블록도이다.1 is a block diagram of a device for detecting a fall in an image according to an exemplary embodiment.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치(100)는 객체 검출부(110), 박스화부(120), 장축 길이 변화량 산출부(130), 상변 중심점 거리 산출부(140) 및 쓰러짐 감지부(150)를 포함하며, 쓰러짐 유지 결정부(160)를 더 포함할 수 있다.Referring to FIG. 1, the apparatus 100 for detecting fall in an image according to an exemplary embodiment may include an object detector 110, a boxer 120, a long axis length change calculator 130, and an upper edge center point distance calculator. 140 and a fall detection unit 150, and may further include a fall maintaining determiner 160.
객체 검출부(110)는 카메라 등 영상 촬영 장치로부터 수집된 영상 프레임들에서 감시 객체를 검출한다.The object detector 110 detects a surveillance object from image frames collected from an image capturing apparatus such as a camera.
예를 들면, 제1 영상 프레임부터 제5 영상 프레임까지 존재하는 경우 객체 검출부(110)는 제1 영상 프레임에서 감시 객체를 검출하고, 제2 영상 프레임에서 동일한 감시 객체를 검출하고, 제3 영상 프레임에서 동일한 감시 객체를 검출하고, 제4 영상 프레임에서 동일한 감시 객체를 검출하고, 제5 영상 프레임에서 감시 객체를 검출할 수 있다. 동일한 감시 객체란 대상이 동일한 것을 의미하며, 객체의 위치나 형태가 동일한 것을 의미하는 것은 아니다. 동일한 대상의 객체라도 객체의 움직임에 따라서 영상 프레임 별로 객체의 위치나 형태가 변경될 수 있다.For example, when the first image frame to the fifth image frame exists, the object detector 110 detects the surveillance object in the first image frame, detects the same surveillance object in the second image frame, and detects the third image frame. The same surveillance object may be detected in, the same surveillance object is detected in the fourth image frame, and the surveillance object may be detected in the fifth image frame. The same watched object means that the object is the same, and does not mean that the object is the same position or shape. Even if the object of the same target, the position or shape of the object may be changed for each image frame according to the movement of the object.
영상 프레임이 제1 영상 프레임부터 제N 영상 프레임이 존재하는 경우, 객체 검출부(110)에 의하여 검출된 감시 객체는 모든 프레임에서 검출될 수도 있으며, 일부 프레임에서만 검출될 수도 있다.When the image frame includes the N-th image frame from the first image frame, the surveillance object detected by the object detector 110 may be detected in every frame, or may be detected only in some frames.
객체 검출부(110)가 프레임에서 감시 객체를 검출하는 방법은 공지된 기술을 이용할 수 있다.The object detecting unit 110 may detect a surveillance object in a frame using a known technique.
쓰러짐을 감지하기 위한 대상이 되는 감시 객체는 사람일 수 있으나 이에 한정되는 것은 아니며, 사람이 아닌 사물도 될 수 있다.The monitoring object to detect the fall may be a person, but is not limited thereto, and may be a non-human object.
박스화부(120)는 각각의 프레임에서 검출된 감시 객체를 박스(Box) 형태로 나타낼 수 있다.The boxing unit 120 may represent the surveillance object detected in each frame in the form of a box.
예를 들면, 박스화부(120)는 제1 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타내고, 제2 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타내고, 제3 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낼 수 있다.For example, the boxing unit 120 displays the surveillance object detected in the first image frame in the form of a box, represents the surveillance object detected in the second image frame in the form of a box, and displays the surveillance object detected in the third image frame. It can be represented as a box.
박스화부(120)는 주성분 분석(PCA, Principal Component Analysis) 방법을 이용하여 객체 검출부(110)에 의하여 각각의 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낼 수 있다.The boxer 120 may represent the surveillance object detected in each image frame by the object detector 110 in the form of a box by using a principal component analysis (PCA) method.
도 2는 박스화부가 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타내는 일 예를 설명하는 도면이다.FIG. 2 is a diagram for explaining an example in which a boxer displays a surveillance object detected in an image frame in a box form.
도 2에서 (a)를 참조하면, 객체 검출부(110)에 의하여 팔을 뻗고 앉아 있는 사람의 모습을 영상 프레임에서 검출하고, 검출된 감시 객체를 박스 형태로 나타내고 있다.Referring to (a) of FIG. 2, the object detector 110 detects a person sitting with his arms extended in an image frame and displays the detected surveillance object in the form of a box.
도 2에서 (a)에 나타나고 있는 박스 형태는 검출된 감시 객체의 최외각을 포함하도록 생성된 박스 형태이다.The box shape shown in (a) of FIG. 2 is a box shape generated to include the outermost angle of the detected surveillance object.
도 2에서 (a)와 같이 검출된 감시 객체의 최외각을 포함하도록 박스 형태를 나타내는 경우 본 발명을 적용하면 객체의 쓰러짐을 감지하는 것에 다소 부정확한 결과를 도출할 수 있다.In FIG. 2, when the box shape is represented to include the outermost angle of the detected monitoring object as shown in FIG. 2A, a somewhat inaccurate result may be obtained when detecting the collapse of the object.
즉, 도 2에서 (a)는 객체의 쓰러짐을 분석하기 위한 주요 성분과는 연관성이 적은 뻗어 있는 팔 등으로 인한 성분으로 인하여 객체의 쓰러짐 감지 결과에 다소 부정확한 결과를 도출할 수 있다.That is, (a) of FIG. 2 may lead to a somewhat inaccurate result in the fall detection result of the object due to a component due to an extended arm, which has little correlation with the main component for analyzing the fall of the object.
따라서, 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치(100)의 박스화부(120)는 주성분 분석 방법을 이용하여 검출된 감시 객체를 박스 형태로 나타낼 수 있다.Therefore, the boxing unit 120 of the apparatus 100 for detecting a fall in an image according to an exemplary embodiment may display the monitored object detected using a principal component analysis method in the form of a box.
주성분 분석 방법은 기존의 공지된 내용을 이용할 수 있다. 도 2에서 (b)를 참조하여 예를 들면, 박스화부(120)는 검출된 감시 객체의 윤곽점(Contour Points)에서 주성분 분석 방법을 이용하여 주성분을 분석하고, 분석된 주성분을 이용하여 회전된 박스 형태를 나타낼 수 있다.Principal component analysis method can use the existing well-known content. Referring to (b) of FIG. 2, for example, the boxing unit 120 analyzes a principal component using a principal component analysis method at contour points of the detected monitoring object, and rotates using the analyzed principal component. It can represent a box shape.
도 3은 박스화부가 주성분 분석 방법을 이용하여 검출된 감시 객체를 박스 형태로 나타낸 다른 예를 설명하는 도면이다.FIG. 3 is a view for explaining another example in which a boxing unit shows, in a box form, a monitored object detected using a principal component analysis method.
도 3에서 (a)는 검출된 감시 객체의 최외각을 기준으로 박스 형태로 나타낸 것이다. 도 3에서 (b)는 검출된 감시 객체의 주성분을 중심으로 박스 형태로 나타낸 것이다.In FIG. 3, (a) is shown in the form of a box based on the outermost angle of the detected monitoring object. In Figure 3 (b) is shown in the form of a box around the main component of the detected monitoring object.
박스화부(120)는 도 2에서 (a) 및 도 3에서 (a)와 같이 검출된 감시 객체를 박스 형태로 나타내는 것보다는 객체의 쓰러짐 감지 정확도 향상을 위하여 주성분 분석 방법을 이용하여 도 2에서 (b) 및 The boxing unit 120 uses the principal component analysis method in FIG. 2 to improve the accuracy of detecting the fall of the object, rather than presenting the detected monitoring object in the form of a box as shown in FIGS. 2A and 3A. b) and
도 3에서 (b)와 같이 검출된 감시 객체를 박스 형태로 나타내는 것이 바람직하다.In FIG. 3, it is preferable to display the detected monitoring object in the form of a box as shown in (b).
다만, 박스화부(120)가 주성분 분석 방법을 이용하여 검출된 감시 객체를 박스 형태로 나타내는 것은 일 예에 불과하며, 이에 한정되는 것은 아니다. 박스화부(120)는 주성분 분석 방법 이외의 다른 방법을 이용하여 검출된 감시 객체를 박스 형태로 나타낼 수 있다. 박스화부(120)는 각각의 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타날 때 영상 프레임 마다 동일한 방법을 이용하여 검출된 감시 객체를 박스 형태로 나타내는 것이 바람직하다.However, the boxing unit 120 represents only one example of the monitored object detected using the principal component analysis method in the form of a box, but is not limited thereto. The boxing unit 120 may display the monitored object detected in a box form using a method other than the principal component analysis method. When the boxed unit 120 displays the monitored object detected in each image frame in the form of a box, it is preferable to display the detected surveillance object in the form of a box by using the same method for each image frame.
도 1을 참조하여 장축 길이 변화량 산출부(130), 상변 중심점 거리 산출부(140) 및 쓰러짐 감지부(150)를 설명하기 전에 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치(100)가 검출된 감시 객체의 쓰러짐을 감지하는 원리를 도 4내지 6을 참조하여 설명한다.Before explaining the long-axis length change amount calculation unit 130, the top-side center point distance calculation unit 140 and the fall detection unit 150 with reference to Figure 1 fall fall detection device 100 in the image according to an embodiment of the present invention The principle of detecting the collapse of the detected monitoring object will be described with reference to FIGS. 4 to 6.
도 4는 감시 객체가 영상 촬영 장치를 향하여 쓰러진 경우 영상 프레임 별로 변화하는 박스 형태의 예를 나타내는 도면이다.4 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls toward the image capturing apparatus.
41a와 41b는 제1 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다. 42a와 42b는 제1 영상 프레임 이후에 촬영된 영상 프레임(제K 프레임)에서 검출된 감시 객체를 박스 형태로 나타낸 것이다. 43a와 43b는 제K 영상 프레임 이후에 촬영된 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다.41a and 41b show surveillance objects detected in the first image frame in the form of a box. 42a and 42b show surveillance objects detected in an image frame (K-th frame) photographed after the first image frame in the form of a box. 43a and 43b show surveillance objects detected in an image frame photographed after the K-th image frame in the form of a box.
41a을 기준으로 42a 및 43a를 비교하고, 41b를 기준으로 42b 및 43b를 비교하면, 감시 객체인 화분이나 사람이 영상 촬영 장치를 향하여 쓰러진 경우 박스 형태의 장축 길이는 길어지거나 동일하며 상변 중심점의 이동거리가 긴 것을 볼 수 있다.Comparing 42a and 43a based on 41a, and 42b and 43b based on 41b, the length of the long axis in the form of a box is longer or the same, and the movement of the upper center point when the pollen or the person, a watched object, falls down toward the imaging device. You can see the distance is long.
박스 형태에서 장축 길이는 감시 객체가 사람인 경우 사람의 키에 비례한다.In the box form, the major axis length is proportional to the height of the person if the watch object is a person.
구체적으로, 박스 형태는 장축의 두 변, 상변 및 하변으로 구성된다. 상변은 감시 객체인 사람의 머리 끝 부분이 위치하며, 하변에는 특정 사람의 발이 위치한다. 사람과 유사하게 감시 객체가 사물인 경우, 사물이 통상적으로 서 있는 상태에서 사물의 윗 끝부분이 상변에 위치할 것이며, 사물의 아랫 끝 부분이 하변에 위치할 것이다.Specifically, the box shape is composed of two sides, the upper side and the lower side of the long axis. The upper side is located at the tip of the head of the person, which is a surveillance object, and the specific human foot is located at the lower side. Similar to humans, when a monitored object is an object, the upper end of the object will be located on the upper side while the object is standing in the normal state, and the lower end of the object will be located on the lower side.
상변 중심점은 상변에서 중심에 해당하는 점이며, 하변 중심점은 하변에서 중심에 해당하는 점이다.The upper edge center point corresponds to the center on the upper side, and the lower edge center point corresponds to the center on the lower side.
반드시 사람의 머리 끝 부분이 상변에 위치하고, 사람의 발이 하변에 위치하는 것은 아니다. 박스화부(120)가 감시 객체를 박스 형태로 나타내는 방법에 따라서 다소간의 차이점이 발생할 수 있다. 또한, 감시 객체가 쓰러짐에 따라서 상변과 하변의 위치가 역전될 수 있다. 다만, 감시 객체가 사람인 경우를 예로 들면, 박스 형태의 상변과 하변 중 사람의 머리 부분과 가까운 변이 상변이고 사람의 발 부분과 가까운 변이 하변으로 정의한다. The tip of the person's head is not necessarily located on the upper side, and the person's feet are not located on the lower side. Some differences may occur depending on how the boxer 120 displays the monitored object in the form of a box. In addition, as the watchdog object falls, the positions of the upper and lower sides may be reversed. For example, in the case where the monitoring object is a human, the upper side and the lower side of the box shape are defined as the upper side and the lower side near the human foot.
보다 구체적으로, 본 발명에서는 제1 영상 프레임에서 검출된 감시 객체가 서 있는 상태라고 가정하면, 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태의 하변 부근에 발이 위치할 것이다. 제M 영상 프레임(단, 1<M<N)에서 검출된 감시 객체를 나타내는 박스 형태에서 하변 중심점(이하 "제M 하변 중심점)과 상변 중심점(이하 "제M 상변 중심점) 중 제M-1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 하변 중심점과 더 인접한 중심점을 제M 하변 중심점으로 결정할 수 있다.More specifically, in the present invention, assuming that the surveillance object detected in the first image frame is in a standing state, the foot will be positioned near the lower side of the box shape representing the surveillance object detected in the first image frame. M-1 image among the lower center point (hereinafter referred to as "M-th lower center point") and the upper edge center point (hereinafter referred to as "M-th upper center point") in the form of a box representing a surveillance object detected in the M-th image frame (1 <M <N). In the box form representing the surveillance object detected in the frame, the center point closer to the lower center point may be determined as the Mth lower center point.
도 5는 감시 객체가 영상 촬영 장치를 기준으로 좌측 방향 또는 우측 방향으로 쓰러진 경우 영상 프레임 별로 변화하는 박스 형태의 예를 나타내는 도면이다.FIG. 5 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls to the left or right direction based on the image photographing apparatus.
도 5에서 (a)는 감시 객체인 화분이 좌측 방향으로 쓰러진 경우이고, (b)는 감시 객체인 사람이 우측 방향으로 쓰러진 경우이다.In FIG. 5, (a) is a case in which the pollen, which is a monitoring object, falls in the left direction, and (b) is a case in which a person, which is a monitoring object, falls in the right direction.
51a와 51b는 제1 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다. 52a와 52b는 제1 영상 프레임 이후에 촬영된 영상 프레임(제L 프레임)에서 검출된 감시 객체를 박스 형태로 나타낸 것이다. 53a와 53b는 제L 영상 프레임 이후에 촬영된 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다.51a and 51b show surveillance objects detected in the first image frame in the form of a box. 52a and 52b show surveillance objects detected in an image frame (L-th frame) photographed after the first image frame in the form of a box. 53a and 53b show surveillance objects detected in an image frame captured after the L-th image frame in the form of a box.
51a을 기준으로 52a 및 53a를 비교하고, 51b를 기준으로 52b 및 53b를 비교하면, 감시 객체가 좌측 방향 또는 우측 방향으로 쓰러진 경우에는 감시 객체를 나타내는 박스 형태의 장축 길이는 거의 동일하며 상변 중심점의 이동 거리가 긴 것을 알 수 있다.Comparing 52a and 53a based on 51a and 52b and 53b based on 51b, when the watched object fell to the left or right direction, the length of the long axis in the form of a box representing the watched object is almost the same and the It can be seen that the moving distance is long.
도 6은 감시 객체가 영상 촬영 장치가 영상을 촬영하는 방향을 향하여 쓰러진 경우 영상 프레임 별로 변화하는 박스 형태의 예를 나타내는 도면이다.FIG. 6 is a diagram illustrating an example of a box shape that is changed for each image frame when the surveillance object falls toward a direction in which the image photographing apparatus captures an image.
61a와 61b는 제1 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다. 62a와 62b는 제1 영상 프레임 이후에 촬영된 영상 프레임(제M 프레임)에서 검출된 감시 객체를 박스 형태로 나타낸 것이다. 63a와 63b는 제M 영상 프레임 이후에 촬영된 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다.61a and 61b show surveillance objects detected in the first image frame in the form of a box. 62a and 62b show surveillance objects detected in an image frame (M-th frame) photographed after the first image frame in the form of a box. 63a and 63b show surveillance objects detected in an image frame captured after the M-th image frame in the form of a box.
61a을 기준으로 62a 및 63a를 비교하고, 61를 기준으로 62b 및 63b를 비교하면, 감시 객체(화분 및/또는 사람)가 영상 촬영 장치가 영상을 촬영하는 향을 향하여 쓰러진 경우 감시 객체를 나타내는 박스 형태의 장축 길이와 상변 중심점의 이동거리에 다소간의 변화량이 있는 것을 알 수 있다.Comparing 62a and 63a based on 61a and 62b and 63b based on 61, the box representing the monitored object when the monitored object (flower pot and / or person) fell towards the direction in which the imaging device is taking the image. It can be seen that there is some variation in the long axis length of the shape and the moving distance of the center point of the upper side.
도 4 내지 6을 참조하면, 감시 객체가 쓰러지는 경우, 감시 객체를 나타내는 박스 형태의 장축 길이의 변화나 상변 중심점 간의 거리에 변화가 발생하는 것을 볼 수 있다.4 to 6, when the surveillance object falls, it can be seen that a change occurs in the length of the long axis in the box form representing the surveillance object or a change in the distance between the upper center points.
본 발명은 이러한 장축 길이의 변화량과 상변 중심점 간의 거리를 복합적으로 이용하여 감시 객체의 쓰러짐을 감지한다.The present invention detects the fall of the surveillance object by using a combination of the change in the long axis length and the distance between the center of the upper edge.
도 4 내지 6에서 감시 객체를 화분과 사람의 두 가지 경우를 예로 든 것은, 본 발명이 사람뿐만 아니라 사물의 쓰러짐도 감지할 수 있다는 것을 보여준 것이다. 본 발명은 하나의 영상 프레임에서 둘 이상의 감시 객체를 검출하여 둘 이상의 감시 객체의 쓰러짐을 감지할 수도 있다.Taking two examples of the pollen object and the person in FIG. 4 to 6 show that the present invention can sense not only the person but also the fall of an object. The present invention may detect the fall of two or more surveillance objects by detecting two or more surveillance objects in one image frame.
다시 도 1을 되돌아가서, 장축 길이 변화량 산출부(130), 상변 중심점 거리 산출부(140) 및 쓰러짐 감지부(150)를 설명한다.1 again, the long axis length change amount calculation unit 130, the upper edge center point distance calculation unit 140, and the fall detection unit 150 will be described.
장축 길이 변화량 산출부(130)는 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이를 기준으로 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 산출할 수 있다.The long axis length variation calculating unit 130 has a long axis in each box shape representing a surveillance object detected in the remaining video frame except for the first video frame based on the long axis length in the box shape representing the surveillance object detected in the first image frame. The amount of change in length can be calculated.
상변 중심점 거리 산출부(140)는 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 상변 중심점 간의 거리를 산출할 수 있다.The upper edge center point distance calculating unit 140 is configured between the upper edge center point and the upper edge center point in each box type representing the surveillance object detected in the remaining image frames except the first image frame in the box form representing the surveillance object detected in the first image frame. The distance can be calculated.
상기 제1 영상 프레임은 영상 촬영 장치에서 촬영된 영상의 첫 번째 프레임을 의미할 수도 있지만, 감시 객체의 쓰러짐을 감지하는데 이용된 프레임 중 첫 번째 프레임을 의미한다. 또한, 제1 영상 프레임에서의 감시 객체는 쓰러지기 전 상태인 서 있는 상태가 일반적이다.The first image frame may mean the first frame of the image captured by the image capturing apparatus, but means the first frame of the frames used to detect the fall of the surveillance object. Also, the surveillance object in the first image frame is generally in a standing state, which is a state before falling.
또한, 본 발명이 감시 객체를 감지하는데 이용하는 프레임은 영상 촬영 장치에 의하여 생성된 영상 프레임을 모두 이용할 수도 있지만, 기 설정된 주기에 해당하는 영상 프레임 만을 이용할 수도 있다.In addition, although the frames used to detect the surveillance object may use all the image frames generated by the image capturing apparatus, only the image frames corresponding to a predetermined period may be used.
예를 들어, 영상 촬영 장치는 1초에 30개의 영상 프레임을 생성한다면, 본 발명이 감시 객체를 감지하는데 이용하는 프레임은 30개의 영상 프레임 중 5의 배수에 해당하는 영상 프레임만을 이용할 수도 있다. 즉, 영상 촬영 장치가 10분 동안 18000개의 영상 프레임을 생성한다면, 본 발명이 감시 객체를 감지하는데 이용하는 프레임은 10분 동안 3600개 정도일 수 있다.For example, if the image capturing apparatus generates 30 image frames per second, the frame used by the present invention to detect the surveillance object may use only an image frame corresponding to a multiple of 5 of the 30 image frames. That is, if the image capturing apparatus generates 18000 image frames in 10 minutes, the present invention may use about 3600 frames in 10 minutes for detecting the surveillance object.
본 발명이 감시 객체를 감지하는데 이용하는 프레임은 영상 촬영 장치의 영상 촬영 능력, 컴퓨터의 연산 성능, 쓰러짐 감지의 신속성 등을 고려하여 설정될 수 있다.The frame used to detect the surveillance object according to the present invention may be set in consideration of the image capturing capability of the image capturing apparatus, the computational performance of the computer, the speed of falling detection, and the like.
쓰러짐 감지부(150)는 산출된 장축 길이의 변화량 및 산출된 상변 중심점 간의 거리를 이용하여 감시 객체의 쓰러짐을 감지할 수 있다.The fall detection unit 150 may detect the fall of the monitoring object by using the calculated change in the major axis length and the calculated distance between the center points.
구체적으로 쓰러짐 감지부(150)는 산출된 장축 길이의 변화량 및 산출된 상변 중심점 간의 거리를 곱하고, 곱한 값이 기 설정된 값 이상인 경우 감시 객체가 쓰러졌다고 감지할 수 있다.In detail, the fall detector 150 may multiply the calculated change in the major axis length by the calculated distance between the calculated center points, and detect that the monitor object has fallen when the multiplied value is greater than or equal to a preset value.
쓰러짐 감지부(150)는 제1 영상 프레임과 특정 프레임을 이용하여 산출한 장축 길이의 변화량 및 상변 중심점 간의 거리를 곱한 값이 기 설정된 값 이상이 되는 경우, 상기 특정 프레임에서 감시 객체가 쓰러진 것으로 감지할 수 있다.The fall detection unit 150 detects that the monitoring object is collapsed in the specific frame when the value obtained by multiplying the distance between the first axis and the length of the long axis calculated by using the specific frame and the distance between the upper center point is equal to or more than a preset value. can do.
쓰러짐 유지 결정부(160)는 쓰러짐 감지부(150)에 의하여 감시 객체의 쓰러짐을 감지한 후, 기 설정된 시간 동안 감시 객체를 나타내는 박스 형태가 기 설정된 수준 이상 변화하지 않은 경우, 감시 객체가 쓰러진 상태를 유지한 것으로 결정할 수 있다.The fall maintaining determiner 160 detects the fall of the watched object by the fall detector 150, and when the box form representing the watched object does not change more than a predetermined level for a preset time, the watched object is in a collapsed state. Can be determined to be maintained.
즉, 쓰러짐 유지 결정부(160)는 쓰러짐 감지부(150)에 의하여 감시 객체가 쓰러진 것으로 판단되더라도 금방 다시 일어난 경우인지 여부를 판단할 수 있다.That is, the fall maintaining determiner 160 may determine whether or not the case has occurred again soon, even if it is determined by the fall detector 150 that the monitored object has fallen.
도 7은 쓰러짐 유지 결정부가 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 일 예를 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining an example in which the fall maintaining determination unit determines that the surveillance object maintains the collapsed state.
구체적으로, 쓰러짐 유지 결정부(160)는 감시 객체의 쓰러짐을 감지한 프레임 이후 기 설정된 개수의 프레임에서 검출된 감시 객체를 나타내는 박스 형태의 일정 범위 이상이 쓰러짐을 감지한 프레임에서 검출된 감시 객체를 나타내는 박스 형태와 일치하는 경우 감시 객체가 쓰러진 상태를 유지한 것으로 결정할 수 있다.In detail, the collapse maintaining determiner 160 detects a surveillance object detected in a frame that detects a fall of a predetermined range or more in a box form indicating a surveillance object detected in a preset number of frames after the frame of the surveillance object is collapsed. If it matches the box type that it represents, it can be determined that the watched object has fallen.
기 설정된 개수의 프레임은 감시 객체가 쓰러진 상태를 유지한 것으로 볼 수 있는 시간을 고려하여 설정될 수 있다. 예를 들어, 4초 동안 박스 형태에 큰 변화가 없다면 쓰러진 상태를 유지한 것으로 보는 경우, 4초에 해당하는 프레임을 기 설정된 개수의 프레임으로 할 수 있다.The preset number of frames may be set in consideration of the time for which the watched object can be considered to be in a collapsed state. For example, if there is no significant change in the box shape for 4 seconds, when it is considered to be in a collapsed state, a frame corresponding to 4 seconds may be a predetermined number of frames.
예를 들어 기 설정된 개수의 프레임이 2인 경우를 도 7을 참조하여 설명한다.For example, a case in which the preset number of frames is 2 will be described with reference to FIG. 7.
도 7에서 FN은 제N 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태를 의미하며, FN -1은 제N-1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태를 의미한다. 또한, 쓰러짐 감지부(150)에 의하여 제N-1 영상 프레임에서 감시 객체가 쓰러진 것으로 판단된 경우라고 가정한다. FN -1과 FN은 대부분의 박스 형태 영역이 일치하는 것으로 볼 수 있다. 이러한 경우 감시 객체가 쓰러진 상태를 유지한 것으로 결정할 수 있다. In FIG. 7, F N denotes a box form indicating a surveillance object detected in the N-th image frame, and F N −1 denotes a box form indicating a surveillance object detected in the N-th image frame. In addition, it is assumed that the fall detection unit 150 determines that the surveillance object is collapsed in the N-th image frame. F N -1 and F N can be seen to coincide with most box-shaped regions. In this case, you can determine that the watched object has fallen.
본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치(100)에 관한 보다 자세한 설명은 도 8 내지 13을 참조하여 설명하는 본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법에서 설명한다.A more detailed description of the apparatus 100 for detecting falling in an image according to an exemplary embodiment will be described with reference to the method for detecting falling in an image according to another exemplary embodiment of the present invention described with reference to FIGS. 8 to 13.
즉, 본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법에서 설명한 내용과 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치(100)에서 설명한 내용은 서로 적용된다.That is, the contents described in the fall detection method in the image according to another embodiment of the present invention and the details described in the fall detection apparatus 100 in the image according to an embodiment of the present invention are applied to each other.
구체적으로 장축 길이 변화량 산출부(130)에 관해서는 도 8 내지 10을 참조하여 설명하는 내용이 적용될 수 있다.In more detail, with reference to FIGS. 8 to 10, the long axis length variation calculator 130 may be applied.
또한, 상변 중심점 거리 산출부(140)에 관해서는 도 8, 11 및 12를 참조하여 설명하는 내용이 적용될 수 있다.In addition, the content described with reference to FIGS. 8, 11, and 12 may be applied to the upper edge center point distance calculator 140.
도 8은 본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법에 관한 흐름도이다.8 is a flowchart illustrating a fall detection method for an image according to another exemplary embodiment of the present invention.
영상에서의 쓰러짐 감지 장치(100)가 복수 개의 영상 프레임 각각에서 감시 객체를 검출한다(S810).The apparatus 100 for detecting falling in an image detects a surveillance object in each of the plurality of image frames (S810).
영상에서의 쓰러짐 감지 장치(100)가 복수 개의 영상 프레임에서 검출된 감시 객체 각각을 박스 형태로 나타낸다(S820).The apparatus 100 for detecting falling in an image displays each of the surveillance objects detected in the plurality of image frames in the form of a box (S820).
영상에서의 쓰러짐 감지 장치(100)가 장축 길이 변화량을 산출한다(S830).The fall detection apparatus 100 calculates a long axis length change amount in the image (S830).
영상에서의 쓰러짐 감지 장치(100)가 장축 길이 변화량을 산출하는 구체적인 예는 차후 도 9 및 도 10을 참조하여 설명한다.A specific example in which the fall detection apparatus 100 calculates the long axis length change in the image will be described later with reference to FIGS. 9 and 10.
영상에서의 쓰러짐 감지 장치(100)가 상변 중심점 간의 거리를 산출한다(S840).The fall detection apparatus 100 in the image calculates the distance between the center points of the upper sides (S840).
영상에서의 쓰러짐 감지 장치(100)가 상변 중심점 간의 거리를 산출하는 구체적인 예는 차후 도 11 및 도 12를 참조하여 설명한다.A detailed example of calculating the distance between the top center points by the fall detection apparatus 100 in the image will be described later with reference to FIGS. 11 and 12.
영상에서의 쓰러짐 감지 장치(100)가 산출된 장축 길이 변화량 및 산출된 상변 중심점 간의 거리를 이용하여 감시 객체의 쓰러짐 여부를 판단한다(S850).The apparatus 100 for detecting a fall in the image determines whether the surveillance object falls by using the calculated long axis length change amount and the calculated distance between the center points of the upper edges (S850).
영상에서의 쓰러짐 감지 장치(100)가 객체가 쓰러진 것으로 판단되면 감시 객체가 쓰러진 상태를 유지하고 있는지 여부를 판단할 수 있다(S860).If it is determined that the object in the image falls down, the apparatus 100 may determine whether the surveillance object maintains the collapsed state (S860).
영상에서의 쓰러짐 감지 장치(100)가 감시 객체가 쓰러진 상태를 유지하고 있는지 여부를 판단하는 구체적인 방법은 도 1 및 도 7을 참조하여 설명하는 쓰러짐 유지 결정부(160)에 관한 내용이 적용될 수 있다.As a specific method of determining whether the fall detection apparatus 100 in the image maintains the collapsed state, the content of the fall maintaining determiner 160 described with reference to FIGS. 1 and 7 may be applied. .
알람 장치가 객체가 쓰러진 상태를 유지하고 있다고 판단하면, 관리자에게 시각적 및/또는 청각적으로 알림을 제공할 수 있다(S870).If the alarm device determines that the object maintains the collapsed state, it may provide a notification visually and / or audibly to the manager (S870).
도 9는 장축 길이 변화량을 산출하는 방법의 일 예를 나타내는 흐름도이다.9 is a flowchart illustrating an example of a method of calculating a long axis length change amount.
도 9를 참조하면, 영상에서의 쓰러짐 감지 장치(100)가 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이(이하 "제1 장축 길이"라 함)를 산출한다(S831)Referring to FIG. 9, the apparatus 100 for detecting falling in an image calculates a long axis length (hereinafter, referred to as a “first long axis length”) in a box shape representing a surveillance object detected in a first image frame (S831).
영상에서의 쓰러짐 감지 장치(100)가 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 각각의 장축 길이(이하 "나머지 장축 길이"라 함)를 산출한다(S833).The apparatus 100 for detecting falling in an image calculates each long axis length (hereinafter, referred to as "remaining long axis length") in each box form representing a surveillance object detected in the other image frames except for the first image frame (S833). ).
영상에서의 쓰러짐 감지 장치(100)가 제1 장축 길이를 이용하여 나머지 장축 길이 각각을 보정한다(S835).The fall detection apparatus 100 corrects each of the remaining long axis lengths by using the first long axis length in operation S835.
제1 장축 길이를 이용하여 나머지 장축 길이 각각을 보정하는(S835) 일 예를 도 10을 참조하여 설명한다.An example of correcting each of the remaining long axis lengths using the first long axis length (S835) will be described with reference to FIG. 10.
도 10은 장축 길이 각각을 보정하고 장축 길이 변화량을 산출하는 일 예를 설명하는 도면이다.10 is a view for explaining an example of correcting each of the major axis lengths and calculating the amount of change in the major axis lengths.
도 10을 참조하면, F1은 제1 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다. FN은 제N 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다.Referring to FIG. 10, F 1 represents a surveillance object detected in a first image frame in the form of a box. F N represents the surveillance object detected in the Nth image frame in the form of a box.
제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태(F1)의 장축 길이는 60이다. 제N 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태(FN)의 장축 길이는 55이다.The long axis length of the box shape F 1 representing the surveillance object detected in the first image frame is 60. The long axis length of the box form F N representing the surveillance object detected in the Nth image frame is 55.
감시 객체가 카메라 등의 영상 촬영 장치와 근접하게 위치하는지 여부에 따라서 박스 형태의 크기가 다르게 나타날 수 있다. 즉, 박스 형태의 크기에 원근에 의한 영향을 최소화하는 것이 필요하다. 원근에 의한 영향을 최소화하기 위하여 영상에서의 쓰러짐 감지 장치(100)가 FN의 장축의 길이에 100/F1의 장축의 길이를 곱하여 개체의 크기를 보정할 수 있다. 또한, 영상에서의 쓰러짐 감지 장치(100)가 F1의 장축의 길이도 100/F1의 장축의 길이를 곱하여 100으로 만들 수 있다.The size of the box shape may vary depending on whether the monitoring object is located close to an image capturing device such as a camera. In other words, it is necessary to minimize the effect of perspective on the size of the box shape. In order to minimize the influence of the perspective, the fall detection apparatus 100 in the image may correct the size of the object by multiplying the length of the long axis of F N by the length of the long axis of 100 / F 1 . In addition, the collapse detection apparatus 100 in the image may multiply the length of the long axis of F1 by 100 / F1 to make it 100.
이를 도 10의 경우에 적용하면, 영상에서의 쓰러짐 감지 장치(100)가 F1의 장축의 길이에 100/60(F1의 장축의 길이)를 곱한다. 또한, 영상에서의 쓰러짐 감지 장치(100)가 FN의 장축의 길이인 55에 100/60를 곱한다. F1의 보정된 장축 길이는 100이 되고, FN의 보정된 장축 길이는 91.67이 된다.If this applies to the case of FIG. 10, sseureojim sensing device 100 in the image is multiplied by (the length of the major axis of the 1 F) 100/60 to the length of the major axis of the F 1. Also, the fall detection apparatus 100 in the image multiplies 55, which is the length of the long axis of F N , by 100/60. The corrected long axis length of F1 is 100, and the corrected long axis length of FN is 91.67.
다시 도 9를 참조하면, 영상에서의 쓰러짐 감지 장치(100)가 보정된 제1 장축 길이와 보정된 나머지 장축 길이 각각과의 차이를 통하여 변화량을 산출할 수 있다.Referring back to FIG. 9, the fall detection apparatus 100 in the image may calculate a change amount based on a difference between each of the corrected first long axis length and the remaining corrected long axis length.
즉, 도 10의 예에서, 보정된 제1 장축 길이 100과 보정된 제N 장축 길이 91.67의 차이는 8.33이 된다. 8.33이 제1 장축 길이와 제N 장축 길이의 변화량이 될 수 있다.That is, in the example of FIG. 10, the difference between the corrected first long axis length 100 and the corrected Nth long axis length 91.67 is 8.33. 8.33 can be the amount of change in the length of the first long axis and the length of the Nth long axis.
다른 예를 표 1을 참조하여 설명한다.Another example is described with reference to Table 1.
비교 프레임Comparison frame 비교 프레임의 장축 길이Long axis length of the comparison frame 보정된 장축 길이Calibrated long axis length 장축 길이 변화량Long axis length change
22 5959 59.459.4 1One
33 5959 98.398.3 1.71.7
44 5858 96.796.7 3.33.3
55 5757 9595 55
66 5656 93.393.3 6.76.7
77 5555 91.791.7 8.38.3
88 5454 9090 1010
표 1에서 기준이 되는 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이는 60이고, 보정된 장축 길이는 100으로 가정한다. 장축 길이의 단위는 영상 프레임의 픽셀을 고려하여 설정될 수 있다. 예를 들면, 장축 길이에 해당하는 픽셀이 55픽셀인 경우 장축 길이는 55픽셀이 될 수 있다.In Table 1, the long axis length is 60 and the corrected long axis length is 100 in the box form representing the surveillance object detected in the first image frame. The unit of the long axis length may be set in consideration of the pixels of the image frame. For example, when the pixel corresponding to the long axis length is 55 pixels, the long axis length may be 55 pixels.
비교 프레임 2는 제2 영상 프레임을 의미하고 비교 프레임 8은 제8 영상 프레임을 의미한다. 즉, 비교 프레임은 프레임의 순서를 의미하며, 숫자가 높을수록 제1 영상 프레임과의 시간 차이가 큰 것을 의미한다.Comparison frame 2 refers to the second image frame and comparison frame 8 refers to the eighth image frame. That is, the comparison frame refers to the order of the frames, and the higher the number, the larger the time difference from the first image frame.
비교 프레임의 장축 길이는 비교 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이가 된다.The long axis length of the comparison frame becomes the long axis length in the form of a box representing the surveillance object detected in the comparison frame.
보정된 장축 길이는 앞서 도 10을 참조하여 설명한 바와 같이 장축 길이를 보정한 값이다.The corrected long axis length is a value obtained by correcting the long axis length as described above with reference to FIG. 10.
장축 길이 변화량은 보정된 제1 장축 길이(100)와 비교 프레임의 보정된 장축 길이와의 차이를 의미한다.The long-axis length change amount means a difference between the corrected long-axis length 100 and the corrected long-axis length of the comparison frame.
후 순위 프레임으로 갈수록 장축 길이의 변화량이 증가한다는 것은 감시 객체가 쓰러지고 있는 상태인 것으로 추측할 수 있다.It can be presumed that the watch object is falling when the change in the major axis length increases with the descending rank frame.
도 9를 참조하여 설명한 장축 길이 변화량을 산출하는 방법은 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치(100)의 장축 길이 변화량 산출부(130)에 의하여 수행될 수 있다.The method for calculating the long axis length change amount described with reference to FIG. 9 may be performed by the long axis length change amount calculation unit 130 of the fall detection apparatus 100 in an image according to an exemplary embodiment.
영상에서의 쓰러짐 감지 장치(100)가 산출한 장축 길이 변화량을 이용하여 감시 객체의 쓰러짐을 판단하는 구체적인 설명은 차후 표 3과 함께 설명한다.A detailed description of determining the fall of the monitoring object by using the long-axis length variation calculated by the fall detection device 100 in the image will be described later with Table 3.
도 11은 상변 중심점 간의 거리를 산출하는 방법의 일 예를 나타내는 흐름도이다.11 is a flowchart illustrating an example of a method of calculating a distance between upper edge center points.
도 11을 참조하면, 영상에서의 쓰러짐 감지 장치(100)가 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점(이하 "제1 상변 중심점"이라 함) 및 하변 중심점(이하 "제1 하변 중심점")을 검출한다(S841)Referring to FIG. 11, the top of the center point (hereinafter, referred to as “first upper center point”) and the bottom side center point (hereinafter, referred to as “first upper side center point”) in a box form in which a fall detection apparatus 100 in an image indicates a surveillance object detected in a first image frame. 1 lower center point ") (S841)
영상에서의 쓰러짐 감지 장치(100)가 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태(이하 "나머지 박스 형태"라 함)에서 각각의 하변 중심점을 검출한다(S843).The fall detection apparatus 100 in the image detects each lower center point in a box form (hereinafter, referred to as a "remaining box form") representing a surveillance object detected in the other image frames except the first image frame (S843).
영상에서의 쓰러짐 감지 장치(100)가 나머지 박스 형태에서 검출된 각각의 하변 중심점이 제1 하변 중심점의 위치와 일치되도록 나머지 박스 형태를 평행하게 이동한다(S845).The fall detection apparatus 100 in the image moves the remaining box shapes in parallel so that each lower center point detected in the remaining box shapes coincides with the position of the first lower center point (S845).
영상에서의 쓰러짐 감지 장치(100)가 이동된 나머지 박스 형태 각각의 상변 중심점(이하 "나머지 상변 중심점"이라 함)을 검출한다(S847).The apparatus 100 for detecting falling in the image detects an upper center point (hereinafter, referred to as a "left upper center point") of each of the remaining box shapes (S847).
영상에서의 쓰러짐 감지 장치(100)가 나머지 상변 중심점 각각과 제1 상변 중심점 간의 거리를 산출한다(S849).The fall detection apparatus 100 in the image calculates a distance between each of the remaining upper edge center points and the first upper edge center point (S849).
도 12을 참조하여 도 11의 구체적인 예를 설명한다.A specific example of FIG. 11 will be described with reference to FIG. 12.
도 12는 상변 중심점 간의 거리를 산출하는 일 예를 설명하기 위한 도면이다.12 is a diagram for describing an example of calculating a distance between upper edge center points.
F1과 FN은 도 10에서 설명한 봐와 마찬가지이다. 즉, F1은 제1 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이고, FN은 제N 영상 프레임에서 검출된 감시 객체를 박스 형태로 나타낸 것이다.F1 and FN are the same as that described with reference to FIG. That is, F 1 represents the surveillance object detected in the first image frame in the form of a box, and F N represents the surveillance object detected in the Nth image frame in the form of a box.
상변 중심점 간의 거리를 산출하는 이유는 사람이 쓰러질 때 머리의 위치 변화가 발생하기 때문이다. 사람이 아닌 사물의 경우에도 이와 유사하다.The reason for calculating the distance between the upper center points is that the head position changes when a person falls. The same is true for things that are not humans.
영상에서의 쓰러짐 감지 장치(100)는 순수한 사람의 머리의 이동 거리를 산출하기 위하여 제1 영상 프레임에서 검출된 감시 객체인 사람의 발 위치에 나머지 영상 프레임에서 검출된 사람의 발 위치를 일치 시킨 후 머리의 이동 거리를 산출할 수 있다.The fall detection apparatus 100 in the image matches the foot position of the person detected in the remaining image frames with the foot position of the person, which is a surveillance object detected in the first image frame, to calculate the moving distance of the pure human head. You can calculate the moving distance of the head.
즉, 도 10에서 FN의 하변 중심점인 PDN을 F1의 하변 중심점인 PD1과 일치하도록 FN의 위치를 평행 이동 할 수 있다.That is, it is possible to translate the location of the mobile to match the F N P DN in the lower side of the center point F N in FIG. 10 and the lower side of the center point P D1 of the F 1.
FN의 위치를 평행 이동 하면 FN의 상변 중심점인 PUN의 위치가 PUN '로 변경된다.Moving the position of F N in parallel changes the position of P UN , the top center of F N , to P UN ' .
영상에서의 쓰러짐 감지 장치(100)는 F1의 상변 중심점인 PU1과 PUN '과의 거리를 산출하여 F1과 FN과의 상변 중심점 간의 거리를 산출할 수 있다.Sseureojim in the image sensing device 100 may calculates the distance to the upper side of the center point F 1 P U1 and UN P 'to calculate the distance between F 1 and F N and the center point of the phase transition.
상변 중심점 간의 거리는 픽셀(Pixel) 등의 단위로 나타낼 수 있다.The distance between the upper center points may be expressed in units such as pixels.
예를 들면, 표 2과 같을 수 있다.For example, it may be as shown in Table 2.
비교 프레임Comparison frame 상변 중심점 간의 거리(단위 Pixel)Distance between top edge center points in pixel
22 33
33 1010
44 3535
55 8787
66 174174
77 330330
88 370370
표 2에서 기준 영상 프레임은 표 1과 마찬가지로 제1 영상 프레임이다. 표 2에서 비교 프레임은 표 1과 같은 의미이다. 즉, 비교 프레임 2의 하변 중심점 이동 후 상변 중심점 간의 거리 3픽셀은 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 제2 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태를 이동 한 후의 상변 중심점 간의 거리가 3픽셀인 것을 의미한다.In Table 2, the reference image frame is the first image frame like Table 1. In Table 2, the comparison frame has the same meaning as in Table 1. That is, a distance of 3 pixels between the upper center point after moving the lower center point of the comparison frame 2 moves the box form representing the upper center point and the surveillance object detected in the second image frame from the box form representing the surveillance object detected in the first image frame. This means that the distance between the center points of the later phases is 3 pixels.
후 순위 프레임으로 갈수록 상변 중심점 간의 거리가 증가한다는 것은 감시 객체가 쓰러지고 있는 상태인 것으로 추측할 수 있다.As the distance from the upper center point increases toward the lower rank frame, it can be assumed that the watched object is falling down.
도 11를 참조하여 설명한 상변 중심점 간의 거리를 산출하는 방법은 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치(100)의 상변 중심점 거리 산출부(140)에 의하여 수행될 수 있다.The method for calculating the distance between the upper center points described with reference to FIG. 11 may be performed by the upper center point distance calculator 140 of the apparatus 100 for detecting a fall in an image according to an exemplary embodiment.
다시 도 8로 되돌아가서 S850 단계를 설명하면, 영상에서의 쓰러짐 감지 장치(100)는 산출된 장축 길이 변화량과 산출된 상변 중심점 간의 거리를 곱을 이용하여 감시 객체의 쓰러짐 여부를 판단할 수 있다.Referring back to FIG. 8 and describing the operation S850, the fall detection apparatus 100 may determine whether the surveillance object falls by using a product of the calculated long axis length change and the calculated distance between the center points of the upper edges.
구체적으로, 영상에서의 쓰러짐 감지 장치(100)는 각 비교 프레임 마다 산출된 장축 길이 변화량과 상변 중심점 간의 거리를 곱한 값이 기 설정된 값 이상인 경우에는 해당 비교 프레임에서 감시 객체가 쓰러진 것으로 감지할 수 있다.In detail, the apparatus 100 for detecting falling in an image may detect that the surveillance object is collapsed in the corresponding comparison frame when a value obtained by multiplying the distance between the long axis length change calculated for each comparison frame and the distance between the upper center point and the preset value is greater than or equal to a preset value. .
표 1과 표 2 및 하기 표 3을 참조하여 설명한다.It demonstrates with reference to Table 1, Table 2, and Table 3 below.
비교 프레임Comparison frame 장축 길이 변화량Long axis length change 상변 중심점 간의 거리(단위 Pixel)Distance between top edge center points in pixel F-ValueF-Value
22 1One 33 33
33 1.71.7 1010 1717
44 3.33.3 3535 115.5115.5
55 55 8787 435435
66 6.76.7 174174 1165.81165.8
77 8.38.3 330330 27392739
88 1010 370370 37003700
표 3은 산출된 장축 길이 변화량의 예를 나타낸 표 1과 상변 중심점 간의 거리의 예를 나타내는 표2의 값을 곱한 값을 나타내고 있다.Table 3 has shown the value which multiplied the value of Table 1 which shows the example of the calculated amount of long-axis length change, and Table 2 which shows an example of the distance between the upper edge center point.
F-Value가 기준 프레임인 제1 프레임 및 동일한 비교 프레임을 이용하여 산출된 장축 길이 변화량과 상변 중심점 간의 거리를 곱한 값이다.The F-Value is a value obtained by multiplying the distance between the major axis length change amount and the upper edge center point calculated using the first frame having the reference frame and the same comparison frame.
영상에서의 쓰러짐 감지 장치(100)는 F-Value의 값이 기 설정된 값 이상인 경우에는 해당 비교 프레임에서 감시 객체가 쓰러진 것으로 판단할 수 있다.The fall detection apparatus 100 in the image may determine that the surveillance object falls in a corresponding frame when the value of the F-Value is equal to or greater than a preset value.
예를 들면, 기 설정된 값이 2500인 경우, 영상에서의 쓰러짐 감지 장치(100)는 제7 영상 프레임에서 감시 객체가 쓰러진 것으로 판단할 수 있다. 만약, 어떠한 영상 프레임에서도 기 설정된 값 이상의 값이 없는 경우에는 수 있으며 시간적으로 후 순위의 프레임을 이용하여 계속하여 감시 객체의 쓰러짐을 감지할 수 있다.For example, when the preset value is 2500, the fall detection apparatus 100 in the image may determine that the surveillance object falls in the seventh image frame. If there is no value more than the preset value in any video frame, it may be able to continuously detect the fall of the monitoring object by using a frame of a lower rank in time.
본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법이 F-Value를 이용하여 감시 객체의 쓰러짐을 판단함으로써 감시 객체가 쓰러지는 방향과 상관없이 감시 객체의 쓰러짐을 정확하게 감지할 수 있다.The fall detection method in the image according to another embodiment of the present invention can accurately detect the fall of the watched object regardless of the direction in which the watched object falls by determining the fall of the watched object using the F-Value.
도 13은 본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법이 적용되는 일 예를 나타내는 도면이다.FIG. 13 is a diagram illustrating an example of applying a fall detection method to an image, according to another exemplary embodiment.
도 13을 참조하면, 본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법은 하나의 영상 프레임에 복수의 객체가 존재하는 경우에도 적용될 수 있다.Referring to FIG. 13, the fall detection method of an image according to another exemplary embodiment of the present invention may be applied to a case where a plurality of objects exist in one image frame.
본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법은 하나의 영상 프레임에 복수의 객체가 존재하는 경우 모든 객체에 영상에서의 쓰러짐 감지 방법을 적용하여 쓰러지는 객체를 감지할 수 있다. 따라서, 본 발명의 다른 실시예에 따른 영상에서의 쓰러짐 감지 방법은 다수의 객체에 대해 동시적으로 쓰러짐을 감지할 수 있다.In the fall detection method according to another embodiment of the present invention, when a plurality of objects exist in one image frame, the falling object may be detected by applying the fall detection method in the image to all objects. Therefore, the fall detection method in the image according to another embodiment of the present invention can detect the fall for a plurality of objects at the same time.
이상 설명한 바와 같은 영상에서의 쓰러짐 감지 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현할 수도 있다. The fall detection method of an image as described above may be embodied as computer readable codes on a computer readable recording medium.
즉, 본 발명에 따른 영상에서의 쓰러짐 감지 방법을 구현한 기록 매체는 감시 객체를 제1 영상 프레임부터 N개의 영상 프레임에서 각각 검출하는 과정, 상기 각각의 프레임에서 검출된 감시 객체를 박스(Box) 형태로 나타내는 과정, 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이를 기준으로 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 산출하는 과정, 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 상변 중심점 간의 거리를 산출하는 과정 및 상기 산출된 장축 길이의 변화량 및 상기 산출된 상변 중심점 간의 거리를 이용하여 상기 감시 객체의 쓰러짐을 감지하는 과정을 수행하는 프로그램을 기록한 것일 수 있다.That is, the recording medium implementing the fall detection method in the image according to the present invention detects the surveillance object in the N image frames from the first image frame, respectively, and the surveillance object detected in each frame In the step of displaying in the form, in the box form indicating the surveillance object detected in the first image frame, the length of the long axis in each box form representing the surveillance object detected in the remaining image frame other than the first image frame based on the long axis length Computing the amount of change, the distance between the center of the upper edge in the box form indicating the surveillance object detected in the first image frame and the center of the upper edge in each box form representing the surveillance object detected in the remaining image frame except the first image frame And calculating the variation amount of the calculated long axis length and the acid A program for performing a process of detecting a fall of the surveillance object may be recorded by using a distance between the top-viewed center points.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는, RAM, ROM, CD-ROM, 자기 테이프, 광 데이터 저장장치, 플로피 디스크 등이 있으며, 인터넷을 통한 전송, 캐리어 웨이브 형태로 구현될 수도 있다.Computer-readable recording media include all kinds of recording media on which data that can be read by a computer system is stored. Examples of computer-readable recording media include RAM, ROM, CD-ROM, magnetic tape, optical data storage, floppy disk, and the like, and may be implemented in the form of a carrier wave or transmission via the Internet.
또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 기록 방법을 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the recording method can be easily inferred by programmers in the art to which the present invention belongs.
도 14는 본 발명의 일 실시예에 따른 영상에서의 쓰러짐 감지 장치의 다른 구성도이다.14 is another configuration diagram of the apparatus for detecting a fall in an image according to an exemplary embodiment.
영상에서의 쓰러짐 감지 장치(100)는 도 14에 도시된 구성을 가질 수도 있다.The apparatus 100 for detecting falling in an image may have a configuration illustrated in FIG. 14.
영상에서의 쓰러짐 감지 장치(100)는 명령어를 수행하는 프로세서(20), 영상에서의 쓰러짐 감지 프로그램 데이터가 저장되는 스토리지(40), RAM과 같은 메모리(30), 외부 장치와의 데이터 송수신을 위한 네트워크 인터페이스(50), 프로세서(20) 및 메모리(30)와 연결되어 데이터 이동 통로가 되는 데이터 버스(10)를 포함할 수 있다. 또한, 영상 프레임 등이 저장되는 데이터베이스(60)를 도 포함할 수 있다.The apparatus 100 for detecting falling in an image may include a processor 20 for executing a command, a storage 40 in which the falling detection program data is stored in an image, a memory 30 such as a RAM, and an external device. The data bus 10 may be connected to the network interface 50, the processor 20, and the memory 30 to serve as a data movement path. It may also include a database 60 in which image frames and the like are stored.
도 15는 본 발명의 또 다른 실시예에 따른 영상에서의 쓰러짐 감지 시스템에 관한 구성도이다.15 is a configuration diagram illustrating a system for detecting a fall in an image according to another exemplary embodiment of the present invention.
도 15를 참조하면, 영상에서의 쓰러짐 감지 시스템(1000)은 카메라와 같은 영상 촬영 장치(200), 영상에서의 쓰러짐 감지 장치(100) 및 알림 장치(300)를 포함한다.Referring to FIG. 15, the fall detection system 1000 in an image includes an image photographing device 200 such as a camera, a fall detection device 100 in an image, and a notification device 300.
영상 촬영 장치(200)는 영상을 촬영하여 영상 프레임을 생성하고, 생성된 영상 프레임을 영상에서의 쓰러짐 감지 장치(100)로 전송할 수 있다.The image capturing apparatus 200 may generate an image frame by capturing an image and transmit the generated image frame to the collapse detection apparatus 100 in the image.
영상에서의 쓰러짐 감지 장치(100)는 앞서 도 1 내지 도 14를 참조하여 설명한 바 중복 설명을 생략한다.The apparatus 100 for detecting a fall in an image will not be described repeatedly with reference to FIGS. 1 to 14.
알림 장치(300)는 영상에서의 쓰러짐 감지 장치(100)에 의하여 감시 객체가 쓰러진 상태를 유지하는 경우 관리자에게 시각적 및/또는 청각적으로 알림을 제공할 수 있다.The notification device 300 may provide a notification visually and / or acoustically to the manager when the monitor object maintains the collapsed state by the fall detection device 100 in the image.
도 1의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.Each component of FIG. 1 may refer to software or hardware such as a field-programmable gate array (FPGA) or an application-specific integrated circuit (ASIC). However, the components are not limited to software or hardware, and may be configured to be in an addressable storage medium and may be configured to execute one or more processors. The functions provided in the above components may be implemented by more detailed components, or may be implemented as one component that performs a specific function by combining a plurality of components.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. I can understand that. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.

Claims (17)

  1. 제1 영상 프레임부터 N개의 영상 프레임에서 감시 객체를 검출하는 단계;Detecting a surveillance object from the N image frames from the first image frame;
    상기 각각의 영상 프레임에서 검출된 감시 객체를 박스(Box) 형태로 나타내는 단계;Displaying a surveillance object detected in each image frame in the form of a box;
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이를 기준으로 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 산출하는 단계;Calculating an amount of change in the long axis length in each box type representing the surveillance object detected in the remaining video frames other than the first image frame based on the long axis length in the box shape indicating the surveillance object detected in the first image frame ;
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 상변 중심점 간의 거리를 산출하는 단계; 및Calculating a distance between an upper edge center point in the box form representing the surveillance object detected in the first image frame and an upper edge center point in each box form representing the surveillance object detected in the remaining image frames except for the first image frame; And
    상기 산출된 장축 길이의 변화량 및 상기 산출된 상변 중심점 간의 거리를 이용하여 상기 감시 객체의 쓰러짐을 감지하는 단계를 포함하는, 영상에서의 쓰러짐 감지 방법.And detecting a fall of the surveillance object by using the calculated change in the major axis length and the calculated distance between the center points of the upper edges.
  2. 제1 항에 있어서,According to claim 1,
    상기 감시 객체의 쓰러짐을 감지하는 단계는,Detecting the collapse of the watch object,
    상기 제1 영상 프레임과 특정 영상 프레임을 이용하여 산출된 상기 장축 길이의 변화량과 상기 상변 중심점 간의 거리를 곱한 값이 기 설정된 값 이상이 되는 경우, 상기 특정 영상 프레임에서 상기 감시 객체가 쓰러진 것으로 감지하는 단계를 더 포함하는, 영상에서의 쓰러짐 감지 방법.When the value obtained by multiplying the distance between the long-axis center point and the change amount of the long axis length calculated using the first image frame and the specific image frame is equal to or more than a preset value, detecting that the surveillance object has fallen in the specific image frame The method of claim 16, further comprising the step.
  3. 제1 항에 있어서,According to claim 1,
    상기 장축 길이의 변화량을 산출하는 단계는,Computing the change amount of the long axis length,
    상기 원근에 따른 객체의 크기를 고려하여 상기 제1 영상 프레임 및 상기 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 보정하는 단계를 더 포함하는, 영상에서의 쓰러짐 감지 방법.And correcting the amount of change in the long axis length in each box form representing the surveillance object detected in the first image frame and the remaining image frames in consideration of the size of the object according to the perspective. Way.
  4. 제3 항에 있어서,The method of claim 3, wherein
    상기 장축 길이의 변화량을 보정하는 단계는,Correcting the amount of change in the long axis length,
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이 및 상기 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량에 상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이로 나누고 100을 곱하여 보정하는 단계를 더 포함하는, 영상에서의 쓰러짐 감지 방법.In the box form representing the surveillance object detected in the first image frame, the surveillance object detected in the first image frame is changed to the change amount of the long axis length in each box form representing the surveillance object detected in the remaining image frame. And correcting by dividing by the major axis length in the box form and multiplying by 100.
  5. 제1 항에 있어서,According to claim 1,
    상기 박스 형태는 장축 방향의 두 변, 상변 및 하변으로 구성되며,The box form is composed of two sides in the major axis direction, the upper side and the lower side,
    상기 제N 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변의 중심점과 하변의 중심점 중 상기 제N-1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서의 하변의 중심점과 인접한 점을 상기 제N 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 하변의 중심점으로 결정하는, 영상에서의 쓰러짐 감지 방법. A point adjacent to the center point of the lower side in the box form representing the surveillance object detected in the N-th image frame among the center point of the upper side and the center point of the lower side in the box form representing the surveillance object detected in the Nth image frame; A fall detection method in an image, determined as a center point of a lower side in a box form representing a surveillance object detected in an N image frame.
  6. 제1 항에 있어서,According to claim 1,
    상기 상변 중심점 간의 거리를 산출하는 단계는,Calculating the distance between the upper edge center point,
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 하변 중심부와 상기 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 하변 중심점이 일치되도록 상기 나머지 영상 프레임에서 검출된 각각의 감시 객체를 나타내는 박스 형태를 이동한 후, 상기 상변 중심점 간의 거리를 산출하는 단계를 더 포함하는, 영상에서의 쓰러짐 감지 방법.Each surveillance object detected in the remaining image frames such that a lower center point coincides with a lower center portion in a box form representing a surveillance object detected in the first image frame and a respective box form representing a surveillance object detected in the remaining image frame. After moving the box form representing the, further comprising the step of calculating the distance between the center point of the upper side, fall detection method in the image.
  7. 제1 항에 있어서,According to claim 1,
    상기 감시 객체는 특정 사람이고,The watch object is a specific person,
    상기 박스 형태는 장축 방향의 두 변, 상변 및 하변으로 구성되며, 상기 상변에는 상기 특정 사람의 머리 끝 부분이 위치하며, 상기 하변에는 상기 특정 사람의 발이 위치하며, 상기 장축의 길이는 상기 특정 사람의 키에 비례하는, 영상에서의 쓰러짐 감지 방법.The box form is composed of two sides in the long axis direction, the upper side and the lower side, the upper side is located the end of the head of the particular person, the lower side is located the foot of the particular person, the length of the long axis is the specific person Fall detection method in the image proportional to the height of the.
  8. 제1 항에 있어서,According to claim 1,
    상기 영상에서의 쓰러짐 감지 방법은,Fall detection method in the image,
    상기 감시 객체의 쓰러짐을 감지한 후, 기 설정된 시간 동안 상기 박스 형태가 기 설정된 수준 이상 변화하지 않은 경우 상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 단계를 더 포함하는, 영상에서의 쓰러짐 감지 방법.And detecting that the watch object remains in a collapsed state when the box shape has not changed more than a predetermined level for a preset time after detecting the fall of the watch object. .
  9. 제8 항에 있어서,The method of claim 8,
    상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 단계는,Determining that the watch object is in a collapsed state,
    상기 감시 객체의 쓰러짐을 감지한 프레임 이후 기 설정된 개수의 프레임에서 검출된 감시 객체를 나타내는 박스 형태의 일정 범위 이상이 상기 쓰러짐을 감지한 프레임에서 검출된 감시 객체를 나타내는 박스 형태와 일치하는 경우 상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 단계를 더 포함하는, 영상에서의 쓰러짐 감지 방법.The surveillance when a predetermined range or more of a box form indicating a surveillance object detected in a preset number of frames after the frame detecting the collapse of the surveillance object matches a box form representing a surveillance object detected in the frame in which the surveillance object is detected; And determining that the object remains in a collapsed state.
  10. 제1 항에 있어서,According to claim 1,
    상기 감시 객체를 박스 형태로 나타내는 단계는,Representing the watch object in the form of a box,
    상기 감시 객체의 윤곽(Contour) 화소 정보를 이용하여 주성분 분석(PCA, Principal Component Analysis)를 적용하여 박스 형태로 나타내는 단계를 더 포함하는, 영상에서의 쓰러짐 감지 방법.And applying a principal component analysis (PCA) using contour pixel information of the surveillance object to represent the box in the form of a box.
  11. 제1 영상 프레임부터 N개의 영상 프레임에서 감시 객체를 검출하는 객체 검출부;An object detector configured to detect a surveillance object from the first image frame to N image frames;
    상기 각각의 영상 프레임에서 검출된 감시 객체를 박스(Box) 형태로 나타내는 박스화부;A box unit for displaying the surveillance object detected in each image frame in a box form;
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이를 기준으로 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 산출하는 장축 길이 변화량 산출부;A long axis for calculating a change amount of a long axis length in each box shape representing a surveillance object detected in the remaining video frames except for the first image frame based on the long axis length in the box shape representing the surveillance object detected in the first image frame. Length change calculation unit;
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 상변 중심점 간의 거리를 산출하는 상변 중심점 거리 산출부;An upper edge center point distance for calculating a distance between an upper edge center point in a box shape representing a surveillance object detected in the first image frame and an upper edge center point in each box shape representing a surveillance object detected in the other image frames except for the first image frame. A calculator;
    상기 산출된 장축 길이의 변화량 및 상기 산출된 상변 중심점 간의 거리를 이용하여 상기 감시 객체의 쓰러짐을 감지하는 쓰러짐 감지부를 포함하는, 영상에서의 쓰러짐 감지 장치.And a fall detection unit for detecting a fall of the surveillance object by using the calculated change in the long axis length and the calculated distance between the center points of the upper edges.
  12. 제11 항에 있어서,The method of claim 11, wherein
    상기 쓰러짐 감지부는,The fall detection unit,
    상기 제1 영상 프레임과 특정 영상 프레임을 이용하여 산출된 상기 장축 길이의 변화량과 상기 상변 중심점 간의 거리를 곱한 값이 기 설정된 값 이상이 되는 경우, 상기 특정 영상 프레임에서 상기 감시 객체가 쓰러진 것으로 감지하는, 영상에서의 쓰러짐 감지 장치.When the value obtained by multiplying the distance between the long-axis center point and the change amount of the long axis length calculated using the first image frame and the specific image frame is equal to or more than a preset value, detecting that the surveillance object has fallen in the specific image frame , Fall detection device in the image.
  13. 제11 항에 있어서,The method of claim 11, wherein
    상기 장축 길이 변화량 산출부는,The long axis length change amount calculation unit,
    상기 원근에 따른 객체의 크기를 고려하여 상기 제1 영상 프레임 및 상기 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 보정하는, 영상에서의 쓰러짐 감지 장치.And a change amount of the long axis length in each box form representing the surveillance object detected in the first image frame and the remaining image frames in consideration of the size of the object according to the perspective.
  14. 제11 항에 있어서,The method of claim 11, wherein
    상기 상변 중심점 거리 산출부는,The upper edge center point distance calculation unit,
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 하변 중심부와 상기 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 하변 중심점이 일치되도록 상기 나머지 영상 프레임에서 검출된 각각의 감시 객체를 나타내는 박스 형태를 이동한 후, 상기 상변 중심점 간의 거리를 산출하는, 영상에서의 쓰러짐 감지 장치.Each surveillance object detected in the remaining image frames such that a lower center point coincides with a lower center portion in a box form representing a surveillance object detected in the first image frame and a respective box form representing a surveillance object detected in the remaining image frame. And moving the box shape to calculate the distance between the upper edge center points.
  15. 제11 항에 있어서,The method of claim 11, wherein
    상기 감시 객체의 쓰러짐을 감지한 후, 기 설정된 시간 동안 상기 박스 형태가 기 설정된 수준 이상 변화하지 않은 경우 상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 쓰러짐 유지 결정부를 더 포함하는, 영상에서의 쓰러짐 감지 장치.After detecting the fall of the surveillance object, if the box shape does not change more than a predetermined level for a predetermined time period further comprises a fall maintenance determination unit for determining that the surveillance object is in a collapsed state, the fall in the image Sensing device.
  16. 영상 프레임을 생성하는 영상 촬영 장치;An image capturing apparatus generating an image frame;
    감시 객체를 제1 영상 프레임부터 N개의 영상 프레임에서 각각 검출하고,The surveillance object is detected in each of N video frames from the first video frame.
    상기 각각의 프레임에서 검출된 감시 객체를 박스(Box) 형태로 나타내고,The surveillance object detected in each frame is represented in the form of a box,
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 장축 길이를 기준으로 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 장축 길이의 변화량을 산출하고,Calculating a change amount of the long axis length in each box shape representing the surveillance object detected in the remaining video frames except for the first image frame based on the long axis length in the box shape representing the surveillance object detected in the first image frame,
    상기 제1 영상 프레임에서 검출된 감시 객체를 나타내는 박스 형태에서 상변 중심점과 상기 제1 영상 프레임을 제외한 나머지 영상 프레임에서 검출된 감시 객체를 나타내는 각각의 박스 형태에서 상변 중심점 간의 거리를 산출하며,Calculating a distance between an upper edge center point in a box shape indicating a surveillance object detected in the first image frame and an upper edge center point in each box shape representing a surveillance object detected in the other image frames except for the first image frame;
    상기 산출된 장축 길이의 변화량 및 상기 산출된 상변 중심점 간의 거리를 이용하여 상기 감시 객체의 쓰러짐을 감지하는 영상에서의 쓰러짐 감지 장치; 및A fall detection device for detecting a fall of the surveillance object by using the calculated change in the major axis length and the calculated distance between the center point of the upper edge; And
    상기 감시 객체의 쓰러짐이 감지되면 시각적 또는 청각적으로 알림을 제공하는 알림 장치를 포함하는 영상 모니터링 시스템.And a notification device that provides a visual or audio notification when a fall of the surveillance object is detected.
  17. 제16 항에 있어서,The method of claim 16,
    상기 영상에서의 쓰러짐 감지 장치는,Fall detection device in the image,
    상기 감시 객체의 쓰러짐을 감지한 후, 기 설정된 시간 동안 상기 박스 형태가 기 설정된 수준 이상 변화하지 않은 경우 상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정하는 쓰러짐 유지 결정부를 더 포함하고,After detecting the fall of the surveillance object, if the box shape does not change more than a predetermined level for a predetermined time period further comprises a fall maintenance determination unit for determining that the surveillance object is in a collapsed state,
    상기 알림 장치는,The notification device,
    상기 감시 객체가 쓰러진 상태를 유지한 것으로 결정되면 시각적 또는 청각적으로 알림을 제공하는 알림 장치를 포함하는 영상 모니터링 시스템.And a notification device that provides a visual or audio notification when the surveillance object is determined to remain in a collapsed state.
PCT/KR2015/007741 2014-07-31 2015-07-24 Method and device for sensing collapse in image, and system using same WO2016018006A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140098359A KR101614412B1 (en) 2014-07-31 2014-07-31 Method and Apparatus for Detecting Fall Down in Video
KR10-2014-0098359 2014-07-31

Publications (1)

Publication Number Publication Date
WO2016018006A1 true WO2016018006A1 (en) 2016-02-04

Family

ID=55217820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007741 WO2016018006A1 (en) 2014-07-31 2015-07-24 Method and device for sensing collapse in image, and system using same

Country Status (2)

Country Link
KR (1) KR101614412B1 (en)
WO (1) WO2016018006A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155724B1 (en) 2020-04-21 2020-09-14 호서대학교 산학협력단 Method and system for risk detection of objects in ships using deep neural networks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152717A (en) * 2006-12-20 2008-07-03 Sanyo Electric Co Ltd Apparatus for detecting fall-down state
KR20090091539A (en) * 2008-02-25 2009-08-28 동서대학교산학협력단 System for monitoring occurrence of dangerous motion
JP2010064821A (en) * 2008-09-09 2010-03-25 Toshiba Elevator Co Ltd Escalator monitoring system
KR20120025718A (en) * 2010-09-08 2012-03-16 중앙대학교 산학협력단 Apparatus and method for detecting abnormal behavior
KR101309366B1 (en) * 2012-02-16 2013-09-17 부경대학교 산학협력단 System and Method for Monitoring Emergency Motion based Image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100882509B1 (en) * 2006-09-20 2009-02-06 연세대학교 산학협력단 Apparatus and Method for image based-monitoring elderly people with Principal Component Analysis
KR101925879B1 (en) * 2012-11-02 2019-02-26 삼성전자주식회사 Method of tracking motion using depth image and device thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152717A (en) * 2006-12-20 2008-07-03 Sanyo Electric Co Ltd Apparatus for detecting fall-down state
KR20090091539A (en) * 2008-02-25 2009-08-28 동서대학교산학협력단 System for monitoring occurrence of dangerous motion
JP2010064821A (en) * 2008-09-09 2010-03-25 Toshiba Elevator Co Ltd Escalator monitoring system
KR20120025718A (en) * 2010-09-08 2012-03-16 중앙대학교 산학협력단 Apparatus and method for detecting abnormal behavior
KR101309366B1 (en) * 2012-02-16 2013-09-17 부경대학교 산학협력단 System and Method for Monitoring Emergency Motion based Image

Also Published As

Publication number Publication date
KR20160015728A (en) 2016-02-15
KR101614412B1 (en) 2016-04-29

Similar Documents

Publication Publication Date Title
WO2019103484A1 (en) Multi-modal emotion recognition device, method and storage medium using artificial intelligence
WO2012064106A2 (en) Method and apparatus for video stabilization by compensating for view direction of camera
WO2017008224A1 (en) Moving object distance detection method, device and aircraft
WO2018062647A1 (en) Normalized-metadata generation apparatus, object occlusion detection apparatus, and methods thereof
WO2018004298A1 (en) Image summarization system and method
WO2017195980A1 (en) Electronic device and method for determining a state of a driver
WO2013085193A1 (en) Apparatus and method for enhancing user recognition
WO2015102391A1 (en) Image generating method for analyzing golf swing posture of user through depth image analysis, and method and device for analyzing golf swing posture using same
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2015160207A1 (en) System and method for detecting region of interest
WO2015135443A1 (en) Method and apparatus for simulating sound in virtual scenario, and terminal
WO2015126044A1 (en) Method for processing image and electronic apparatus therefor
WO2019088555A1 (en) Electronic device and method for determining degree of conjunctival hyperemia by using same
WO2013105720A1 (en) Device and method for analyzing quality of three-dimensional stereoscopic image
WO2021040214A1 (en) Mobile robot and method for controlling same
WO2020059939A1 (en) Artificial intelligence device
WO2014051362A1 (en) Proximity sensor and proximity sensing method using event-based vision sensor
WO2018097620A1 (en) Method for abnormal sound source detection and apparatus for performing same
WO2020141900A1 (en) Mobile robot and driving method thereof
WO2020230931A1 (en) Robot generating map on basis of multi-sensor and artificial intelligence, configuring correlation between nodes and running by means of map, and method for generating map
WO2020168606A1 (en) Advertisement video optimising method, apparatus and device and computer readable storage medium
WO2022065763A1 (en) Display apparatus and method for controlling thereof
WO2016018006A1 (en) Method and device for sensing collapse in image, and system using same
WO2015080498A1 (en) Method for detecting human body through depth information analysis and apparatus for analyzing depth information for user body detection
WO2020080734A1 (en) Face recognition method and face recognition device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15826700

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15826700

Country of ref document: EP

Kind code of ref document: A1