WO2021075772A1 - 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치 - Google Patents

복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치 Download PDF

Info

Publication number
WO2021075772A1
WO2021075772A1 PCT/KR2020/013506 KR2020013506W WO2021075772A1 WO 2021075772 A1 WO2021075772 A1 WO 2021075772A1 KR 2020013506 W KR2020013506 W KR 2020013506W WO 2021075772 A1 WO2021075772 A1 WO 2021075772A1
Authority
WO
WIPO (PCT)
Prior art keywords
bounding box
identification value
object detection
area
frame image
Prior art date
Application number
PCT/KR2020/013506
Other languages
English (en)
French (fr)
Inventor
신인식
박준혁
박진우
Original Assignee
주식회사 메이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메이아이 filed Critical 주식회사 메이아이
Priority to US17/769,379 priority Critical patent/US20230386043A1/en
Publication of WO2021075772A1 publication Critical patent/WO2021075772A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Definitions

  • the present invention relates to a method and apparatus for detecting an object by using detection of a plurality of areas of an object.
  • a human object can be detected from each of a plurality of frame images included in an image using various image processing techniques, it is not easy to determine the identity of a person detected from a plurality of frame images.
  • a single human object may be detected as a plurality of human objects.
  • Embodiments of the present invention provide a method and apparatus for identically recognizing a corresponding object in a plurality of frame images even if a part of an object is not captured in some frame images.
  • An object detection method includes the steps of obtaining a plurality of frame images, detecting a first bounding box of a first object and a second bounding box of a second object from the first frame image, and the second 1 Assigning a first identification value to a bounding box and giving a second identification value to the second bounding box, generating a virtual bounding box of the first object in a second frame image, and a second frame image Assigning the first identification value to the third bounding box and the first bounding box and the second based on the area of an overlapping area between the third bounding box and the virtual bounding box of the first object detected in It may include the step of changing the second identification value to the first identification value based on the area of the overlapping area between the bounding boxes.
  • the detecting of the first bounding box and the second bounding box includes obtaining the coordinates of a vertex of the first bounding box using a center coordinate, a horizontal length, and a vertical length of the first bounding box, And obtaining the coordinates of the vertices of the second bounding box by using the center coordinates, the horizontal length, and the vertical length of the second bounding box.
  • generating the virtual bounding box comprises generating a first virtual bounding box based on the first bounding box, and mapping the third bounding box and the first virtual bounding box. I can.
  • the mapping of the third bounding box and the virtual bounding box comprises: when the third bounding box is not detected, generating a second virtual bounding box in a third frame image, and the third Mapping the fourth bounding box of the first object detected in the frame image and the second virtual bounding box, and assigning the first identification value to the third bounding box, the third frame image And giving the first identification value to the fourth bounding box based on an area of an overlapping area between the fourth bounding box of the first object detected in and the second virtual bounding box.
  • the step of giving the first identification value to the third bounding box includes the first identification to the third bounding box when the area of the overlapping area between the third bounding box and the virtual bounding box is greater than or equal to a reference value. It may include the step of assigning a value.
  • the step of changing the second identification value to the first identification value comprises: when the area of an overlapping area between the first bounding box and the second bounding box is greater than or equal to a reference value, the second identification value is changed to the first identification value. It may include the step of changing to the identification value.
  • the detecting of the second bounding box includes detecting a fifth bounding box for a third object, and providing a second identification value to the second bounding box includes: 5 Including the step of giving a third identification value to the bounding box, and the step of changing the second identification value to the first identification value, the first bounding box and the second bounding box When the overlapping area between the first bounding box and the fifth bounding box is wide, changing the third identification value to the first identification value.
  • An object detection apparatus includes a processor, wherein the processor acquires a plurality of frame images, and a first bounding box of a first object and a second bounding box of a second object from the first frame image Is detected, a first identification value is given to the first bounding box, a second identification value is given to the second bounding box, and a virtual bounding box of the first object in a second frame image is generated, Based on the area of an overlapping area between the virtual bounding box and the third bounding box of the first object detected in the second frame image, the first identification value is assigned to the third bounding box, and the first bounding box and the The second identification value may be changed to the first identification value based on an area of an overlapping area between the second bounding boxes.
  • FIG. 1 is a diagram illustrating an example of an object detection system including an object detection device according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration and operation of an object detection apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of an object detection method according to an embodiment of the present invention.
  • 4 to 5 are diagrams for explaining a method of generating a bounding box according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a plurality of bounding boxes generated for a single object according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining in detail some operations of FIG. 3.
  • FIGS. 8 to 9 are diagrams for explaining a data format of a bounding box to which an identification value is assigned according to an embodiment of the present invention.
  • FIG. 10 is a diagram for explaining in detail some operations of FIG. 3.
  • FIG. 11 is a diagram for describing in detail some operations of FIG. 10.
  • FIG. 12 is a diagram for describing a method of assigning an identification value to a bounding box for a plurality of objects according to an embodiment of the present invention.
  • FIG. 13 is a diagram for explaining an algorithm for assigning an identification value to a plurality of bounding boxes according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of an object detection system including an object detection device according to an embodiment of the present invention.
  • the image captured by the camera 10 may be transmitted to the NVR 30 and the image acquisition device 40 through the network 20.
  • the image acquired by the image acquisition device 40 may be transmitted to the object detection device 100 according to an embodiment of the present invention.
  • the image acquisition device 40 and the object detection device 100 may transmit and receive data through the network 20.
  • the image acquisition device 40 may be a hardware module built into the object detection device 100 or a software module executed in the object detection device. In this case, the object detection apparatus 100 may immediately acquire an image captured by the camera 10 through the network 20. In addition, according to an embodiment, the object detection apparatus 100 may include a camera module to directly capture an image.
  • the object detection apparatus 100 may acquire a plurality of frame images included in the image, and may detect a bounding box corresponding to the plurality of objects from the first frame image. In addition, the object detection apparatus 100 may assign an identification value to each bounding box, and may assign the same identification value to a plurality of bounding boxes corresponding to a single object. Accordingly, in an embodiment, as a result of performing an object detection method described below for a plurality of bounding boxes to which different identification values are assigned, the same identification value may be assigned to one or more bounding boxes corresponding to a single object.
  • the bounding box may correspond to the detected object area.
  • the bounding box corresponding to the first object may correspond to the head area of the person
  • the bounding box corresponding to the second object is human It may correspond to the body area of.
  • the above-described identification value may be data for identifying each object.
  • the same identification value may be assigned to the bounding box of a specific human object in the first frame image and the bounding box of the human object detected in the second frame image.
  • the same identification value may be assigned to all of the aforementioned plurality of bounding boxes. A specific method of detecting an object by assigning an identification value to the bounding box will be described later in FIGS. 3 to 13.
  • FIG. 2 is a diagram illustrating a configuration and operation of an object detection apparatus according to an embodiment of the present invention.
  • the object detection device 100 may include an input/output interface 140, a memory 110, a processor 120, and a communication module 130.
  • the memory 110 is a computer-readable recording medium and may include a permanent mass storage device such as a random access memory (RAM), a read only memory (ROM), and a disk drive.
  • the memory 110 may store program codes and settings for controlling the object detection apparatus 100, data of a plurality of frame images and bounding boxes, and identification value information.
  • the processor 120 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processor 120 by the memory 110 or the communication module 130. For example, the processor 120 may be configured to execute a command received according to a program code stored in a recording device such as the memory 110.
  • the communication module 130 may provide a function for communicating with a camera, an image acquisition device, or an external server through a network.
  • a request generated by the processor 120 of the object detection device 100 according to a program code stored in a recording device such as the memory 110 may be transmitted to an external server through a network under the control of the communication module 130.
  • a control signal, command, content, file, etc. provided under the control of a processor of an external server may be received by the object detection apparatus 100 through the communication module 130 via a network.
  • control signals or commands of an external server received through the communication module 130 may be transmitted to the processor 120 or the memory 110, and contents, files, and databases may be transmitted to the object detection device 100. May be stored as a storage medium that may further include.
  • the communication method of the communication module 130 is not limited, but the network may be a local area wireless communication network.
  • the network may be a Bluetooth, Bluetooth Low Energy (BLE), or Wifi communication network.
  • the input/output interface 140 may receive a user's input and display output data.
  • the input/output interface 140 may display a received image on a display, and may display a bounding box corresponding to an object detected on the display by overlaying it.
  • the object detection apparatus 100 may include more components than those of FIG. 2. However, there is no need to clearly show most of the prior art components.
  • the object detection device 100 may include a battery and a charging device that supply power to internal components of the object detection device, and may be implemented to include at least some of the above-described input/output devices or a transceiver. ), a Global Positioning System (GPS) module, various sensors, and other components such as a database may be further included.
  • GPS Global Positioning System
  • the object detection apparatus 100 may further include one or more camera modules. According to an embodiment of the present invention, the object detection apparatus 100 may acquire a plurality of frame images by using an image captured through a camera module.
  • FIG. 3 is a flowchart of an object detection method according to an embodiment of the present invention.
  • the object detection apparatus may acquire a plurality of frame images (S110).
  • the plurality of frame images are images acquired in units of frames of an image, and may be sequentially acquired according to the passage of time. Accordingly, description will be made on the assumption that the first frame image to the third frame image to be described later are frame images sequentially acquired from a single image, even if there is no separate description.
  • the object detection apparatus may detect a first bounding box of the first object and a second bounding box of the second object from the first frame image (S120). In an embodiment, when the object detection apparatus detects a human object, both the first object and the second object may correspond to a partial area of the same human object. In one embodiment, the first object may be a human head and the second object may be a human body.
  • the bounding box may correspond to an area in which an object is detected. Accordingly, in an embodiment, the first bounding box may correspond to the head area of the person, and the second bounding box may correspond to the body area of the person.
  • the bounding box may be stored using the coordinates of each vertex.
  • the shape of the bounding box is not limited. For example, in the case of a rectangular shape, data of the bounding box may be stored using the coordinates of four vertices. Also, the coordinates of the vertices of the bounding box may be relative coordinates within the frame image.
  • the object detection apparatus may assign a first identification value to the first bounding box and a second identification value to the second bounding box (S130).
  • the object detection apparatus may first assign different identification values to the bounding boxes of each detected object. In one embodiment, even if the bounding box corresponding to the human head and the bounding box corresponding to the human body are detected, the bounding box for the head and body of the same person may not be. Therefore, first of all, different identification values may be assigned to each bounding box.
  • the object detection apparatus may generate a virtual bounding box of the first object in the second frame image (S140).
  • the object detection apparatus may estimate the position of the virtual bounding box of the first object in the second frame image based on the position of the first bounding box of the first object in the first frame image.
  • the object detection apparatus may estimate the position of the virtual bounding box of the first object using a Kalman filter.
  • the virtual bounding box may be mapped based on an area of an overlapping area between one of the bounding boxes detected in the second frame and the bounding box.
  • the bounding box detected in the third frame image and the virtual bounding box may be mapped.
  • the third bounding box detected in the second frame is mapped to the virtual bounding box.
  • the object detection apparatus may assign a first identification value to the third bounding box based on an area of an overlapping area between the third bounding box and the virtual bounding box of the first object detected in the second frame image. (S150). In an embodiment, the object detection apparatus may assign a first identification value to the third bounding box when an area of an overlapping area between the third bounding box and the virtual bounding box is greater than or equal to a reference value. In this case, since the third bounding box has a high probability of being the bounding box of the first object, the object detection apparatus may give the third bounding box the same identification value of the first bounding box of the first object.
  • the object detection apparatus may change the second identification value to the first identification value based on the area of an overlapping area between the first bounding box and the second bounding box (S160).
  • the first bounding box and the second bounding box are created for the same human object area, so the same Identification values need to be assigned. Accordingly, in the present embodiment, the object detection apparatus can unify the identification values of the bounding boxes that are differently assigned to a single object.
  • 4 to 5 are diagrams for explaining a method of generating a bounding box according to an embodiment of the present invention.
  • the object detection apparatus may form a grid 201 by dividing an object area included in a frame image into a designated unit. Thereafter, the object detection apparatus may acquire a grid corresponding to the center point 202 of the object. For example, a grid corresponding to the center of a person's head area may be obtained, or a grid corresponding to the center of a person's body area may be obtained. In this case, it should be noted that the center point 202 of the acquired object corresponds to the center of the object area on the frame image, so it is not the center of the actual object as shown in FIG. 4B.
  • the object detection apparatus may estimate the size of the actual object by performing regression analysis.
  • the object detection apparatus may generate the bounding box 203 corresponding to the object area by using the corrected center point of the object and the size of the object, as shown in FIG. 4C.
  • the shape of the bounding box is not limited, but in one embodiment, when the generated bounding box 203 is a square, the object detection device obtains vertex coordinate information of the bounding box using the size of the object and the center point of the corrected object. can do.
  • 5 is an example of a data format of a bounding box according to an embodiment.
  • the vertex of the upper left, lower right or upper right, and lower left of the bounding box Coordinates (x1, y1) and (x2, y2) may be obtained.
  • the bounding box data 301 included in the corresponding frame image may be illustrated as shown in FIG. 5.
  • FIG. 6 is a diagram illustrating a plurality of bounding boxes generated for a single object according to an embodiment of the present invention.
  • a method of detecting a plurality of regions of a single object will be described in detail with reference to FIG. 6.
  • the object detection apparatus may detect a person, and more specifically, may independently detect a head and a body of a person. Finally, when several parts of a person are independently detected in order to detect a single human object, stable tracking of a moving human object is possible even if a part of the person is covered by a structure or other object.
  • a human body when a human body needs to be detected in order to detect a human object, the human body cannot be detected in the frame image as shown in FIG. 6A because the human body is covered by a structure.
  • a human object when several parts of a person are independently detected, a human object may be detected even if only the head region of the person is detected.
  • the human head 210b and the body 212 are simultaneously detected in the second frame image.
  • the constant of the object detection filter may be updated by using the bounding box information in the case where the object detection is performed, thereby increasing the accuracy of object detection.
  • the object tracking device allocates a tracker to the human head object 210a detected in the first frame image shown in FIG. 6A.
  • the tracker all kinds of trackers that a person skilled in the art can select can be used, and preferably, a Kalman filter-based tracker may be used.
  • a Kalman filter-based tracker may be used.
  • an object is detected using a Kalman filter tracker. It goes without saying that the tracking of the human body can also be performed in the same way.
  • a virtual bounding box 211 of the first object in the second frame image may be generated using a Kalman filter.
  • the object detection apparatus includes the virtual bounding box 211 and the third bounding box when the overlapping area between the generated virtual bounding box 211 and the third bounding box 210b of the first object detected in the second frame image is greater than or equal to the reference value.
  • mapping 210b it may be determined that the first object is detected.
  • the Kalman filter for detecting the first object may be updated using the third bounding box 210b.
  • the object detection apparatus may further generate a second virtual bounding box of the first object in the third frame image.
  • the maximum number of frames in which the virtual bounding box is generated is not limited, and in an embodiment, the object detection device may generate a virtual bounding box of up to 30 frames in order to limit the memory usage. However, it should be noted that the above-described maximum number of frames is not necessarily limited to 30.
  • the Kalman filter tracker may be assigned to one or more objects detected in the first frame image, all of the above-described steps may be performed for each of the one or more objects detected in the first frame image.
  • the object detection apparatus may check whether an area of an overlapping area between the virtual bounding box of the first object and the third bounding box is greater than or equal to a reference value (S200).
  • the object detection apparatus may assign a first identification value to the third bounding box (S220).
  • the object detection apparatus may assign a third identification value different from the identification value of the first object to the third bounding box (S210).
  • bounding box data may be generated based on various pieces of information.
  • 8 and 9 are examples of data formats for an object and a bounding box according to an embodiment of the present invention.
  • data of the bounding box may be generated 302 based on each frame image, and data of the bounding box may be generated based on each object identification value as shown in FIG. 9. It may also be created (303).
  • the object estimating apparatus calculates identification values of bounding boxes corresponding to a plurality of regions independently tracked for a single object. It can be unified. That is, when the object detection device independently detects and tracks the head and body of the same person, the identification value corresponding to the head of the same person and the identification value corresponding to the body must be unified.
  • the head and body are independently detected and tracked, and the results are merged, so that object detection can be performed even when tracking becomes difficult due to occlusion or overlap of a person.
  • detection and tracking of the head can obtain an object detection result that is robust against overlapping occlusion of a part of the body.
  • FIG. 10 is a diagram for explaining in detail some operations of FIG. 3.
  • the object detection apparatus may check whether an area of an overlapping area between the first bounding box and the second bounding box in the first frame image is greater than or equal to a reference value (S310).
  • the first bounding box may correspond to a head area of a person
  • the second bounding box may correspond to a body area of a person.
  • the object detection device may not change the second identification value assigned to the second bounding box.
  • the object detection apparatus may change the second identification value assigned to the second bounding box to the first identification value assigned to the first bounding box (S320).
  • first bounding box a first bounding box, a second bounding box, and a fifth bounding box are detected in the first frame.
  • a first identification value is assigned to the first bounding box
  • a second identification value is assigned to the second bounding box
  • a third identification value is assigned to the fifth bounding box.
  • step S310 even if the area of the overlapping area between the first bounding box corresponding to the head area and the second bounding box corresponding to the body area is greater than or equal to the reference value in the first frame image, it overlaps with the first bounding box and a different body area. If there is a bounding box corresponding to, the object detection apparatus may perform step S410, which will be described later.
  • the object detection apparatus may check whether an area of an overlapping area between the fifth bounding box and the first bounding box detected in the first frame image is greater than or equal to a reference (S410).
  • the object detection device when the area of the overlapping area between the fifth bounding box and the first bounding box detected in the first frame image is greater than or equal to the reference, the object detection device performs the first bounding than the overlapping area between the first bounding box and the second bounding box. It can be checked whether the overlapping area between the box and the fifth bounding box is wide (S420).
  • the object detection apparatus may change the third identification value assigned to the fifth bounding box to the first identification value assigned to the first bounding box (S440).
  • the object detection apparatus may change the second identification value assigned to the second bounding box to the first identification value assigned to the first bounding box (S430).
  • the first bounding box 240 and the third bounding box 220 corresponding to the head area are detected, and the second bounding box corresponding to the body area is detected. It is assumed that the bounding box 250 and the fourth bounding box 230 are obtained.
  • the first bounding box 240 corresponding to the head has a region overlapping the second bounding box 250 corresponding to the body.
  • the object detection device identifies the second bounding box 250 as considering that the body corresponding to the second bounding box 250 and the head corresponding to the first bounding box 240 correspond to the same human object.
  • the value may be changed to the identification value of the first bounding box 240.
  • the third bounding box 220 corresponding to the head has an area overlapping both the second bounding box 250 and the fourth bounding box 230 corresponding to the body.
  • the object detection apparatus identifies the identification value of the bounding box having a larger area overlapping the third bounding box 220 of the second bounding box 250 and the fourth bounding box 240 to identify the second bounding box. Can be changed by value.
  • the object detection apparatus does not change the identification value of the bounding box to which the identification value identical to the identification value of the bounding box corresponding to the head among the second bounding box 250 and the fourth bounding box 240 is already assigned. I can.
  • the object detection device is the bounding detected in the same frame image as the fifth bounding box of the second bounding box 250 and the fourth bounding box 240 that has the same identification value as the third bounding box 220.
  • the identification value of the box may not be changed.
  • the identification values of the third bounding box 220 corresponding to the head and the fifth bounding box corresponding to the body are the same, and the fourth bounding box 230 and the fifth bounding box are simultaneously detected in a specific frame image. This is because, if there has been a case, the body corresponding to the fourth bounding box 230 and the body corresponding to the fifth bounding box may correspond to different human objects, respectively.
  • FIG. 13 is a diagram for explaining an algorithm for assigning an identification value to a plurality of bounding boxes according to an embodiment of the present invention.
  • the object detection apparatus may acquire bounding box data detected for each frame image, and may match the bounding box of the body with the bounding box of the head. Thereafter, the following steps are performed for the bounding boxes of all the bodies.
  • the object detection apparatus may obtain a ratio of a frame image in which the target body bounding box includes the target head bounding box among frame images in which the target head bounding box is detected.
  • the object detection apparatus may exclude the target head bounding box from the candidate list to be matched with the body bounding box.
  • the area of an overlapping area between the body bounding box and the head bounding box compared to the width of the head bounding box may be preferably 80% or more.
  • the numerical value of the area of the area according to some embodiments of the present invention is not limited thereto.
  • the object detection apparatus may sort the body bounding box and one or more head bounding box lists that are not excluded from the candidate list to be matched in descending order based on the above-described ratio.
  • the object detection apparatus may obtain a list of body bounding boxes that are already connected to the body bounding box and all head bounding boxes of the candidate list to be matched.
  • the object detection apparatus may sequentially perform a connection operation with the body to be described later on a list of one or more head bounding boxes that are not excluded from the candidate list to be matched with the body bounding box.
  • the object detection apparatus repeats the above operation for the body bounding box and the head bounding box corresponding to the next order of the candidate list to be matched.
  • the object detection apparatus is in the case where the ratio of the frame image in which B exists among the frame images in which A exists, or when the ratio of the frame image in which A exists among the frame images in which B is 10% or more does not exist ,
  • the identification value of the body can be changed to be the same as the identification value of the head.
  • the apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers.
  • the processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as a parallel processor.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device.
  • Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave.
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

복수 영역 검출을 통하여 객체를 탐지하는 방법 및 그 장치가 제공 된다. 본 발명의 일 실시예에 따른 객체 검출 방법은 복수의 프레임 이미지를 획득하는 단계, 제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출하는 단계, 상기 제1 바운딩 박스에 제1 식별값을 부여하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계, 제2 프레임 이미지에서의 상기 제1 객체의 가상 바운딩 박스를 생성하는 단계, 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계 및 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계를 포함할 수 있다.

Description

복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
본 발명은 객체의 복수 영역에 대한 검출을 이용하여 객체를 탐지하는 방법 및 그 장치에 관한 것이다.
영상에서 실시간으로 사람을 검출하는 기술은 보안, 감지 시스템 및 지능형 로봇 등 다양한 분야에서 활용된다. 다양한 영상 처리 기법을 이용하여 영상에 포함된 복수의 프레임 이미지 각각에서 사람 객체를 검출할 수 있지만, 복수의 프레임 이미지에서 검출된 사람의 동일성을 판단하는 것은 쉽지 않다. 특히, 영상을 촬영하는 각도 또는 다양한 구조물에 의해 사람 객체의 일부 또는 전부가 손실되는 경우 단일 사람 객체가 복수의 사람 객체로 검출될 수 있다.
따라서, 영상에 포함된 복수의 프레임 이미지에서 사람 객체의 동일성을 정확하게 식별할 수 있는 기술의 제공이 요구된다.
본 발명의 실시예들은 일부 프레임 이미지에서 객체의 일부가 촬영되지 않더라도 복수의 프레임 이미지에서의 해당 객체를 동일하게 인식하는 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 객체 검출 방법은 복수의 프레임 이미지를 획득하는 단계, 제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출하는 단계, 상기 제1 바운딩 박스에 제1 식별값을 부여하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계, 제2 프레임 이미지에서의 상기 제1 객체의 가상 바운딩 박스를 생성하는 단계, 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계 및 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 바운딩 박스 및 제2 바운딩 박스를 검출하는 단계는, 상기 제1 바운딩 박스의 중심좌표, 가로길이 및 세로길이를 이용하여 상기 제1 바운딩 박스의 꼭지점 좌표를 획득하고, 상기 제2 바운딩 박스의 중심좌표, 가로길이 및 세로길이를 이용하여 상기 제2 바운딩 박스의 꼭지점 좌표를 획득하는 단계를 포함할 수 있다.
일 실시예에서 상기 가상 바운딩 박스를 생성하는 단계는, 상기 제1 바운딩 박스를 기초로 제1 가상 바운딩 박스를 생성하고, 상기 제3 바운딩 박스와 상기 제1 가상 바운딩 박스를 매핑하는 단계를 포함할 수 있다.
일 실시예에서 상기 제3 바운딩 박스와 상기 가상 바운딩 박스를 매핑하는 단계는, 상기 제3 바운딩 박스가 검출되지 않는 경우, 제3 프레임 이미지에서의 제2 가상 바운딩 박스를 생성하는 단계 및 상기 제3 프레임 이미지에서 검출된 제1 객체의 제4 바운딩 박스와 상기 제2 가상 바운딩 박스를 매핑하는 단계를 포함하고, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계는, 상기 제3 프레임 이미지에서 검출된 제1 객체의 제4 바운딩 박스와 상기 제2 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제4 바운딩 박스에 상기 제1 식별값을 부여하는 단계를 포함할 수 있다.
일 실시예에서 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계는, 상기 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이가 기준치 이상인 경우 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계를 포함할 수 있다.
일 실시예에서 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계는, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이가 기준치 이상인 경우 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계를 포함할 수 있다.
일 실시예에서 상기 제2 바운딩 박스를 검출하는 단계는, 제3 객체에 대한 제5 바운딩 박스를 검출하는 단계를 포함하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계는, 상기 제5 바운딩 박스에 제3 식별값을 부여하는 단계를 포함하고, 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계는, 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역보다 상기 제1 바운딩 박스와 상기 제5 바운딩 박스 간 겹치는 영역이 넓은 경우, 상기 제3 식별값을 상기 제1 식별값으로 변경하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 객체 검출 장치는 프로세서를 포함하고, 상기 프로세서는 복수의 프레임 이미지를 획득하고, 제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출하고, 상기 제1 바운딩 박스에 제1 식별값을 부여하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하며, 제2 프레임 이미지에서의 상기 제1 객체의 가상 바운딩 박스를 생성하고, 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하고 상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제2 식별값을 상기 제1 식별값으로 변경할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 장치를 포함하는 객체 검출 시스템의 예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 검출 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 검출 방법의 순서도이다.
도 4 내지 도 5는 본 발명의 일 실시예에 따라 바운딩 박스를 생성하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 단일 객체에 대하여 생성된 복수의 바운딩 박스를 설명하기 위한 도면이다.
도 7은 도 3의 일부 동작을 상세히 설명하기 위한 도면이다.
도 8 내지 도 9는 본 발명의 일 실시예에 따라 식별값이 부여된 바운딩 박스의 데이터 포맷을 설명하기 위한 도면이다.
도 10은 도 3의 일부 동작을 상세히 설명하기 위한 도면이다.
도 11은 도 10의 일부 동작을 상세히 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라 복수의 객체에 대한 바운딩 박스에 식별값을 부여하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따라 복수의 바운딩 박스에 식별값을 부여하는 알고리즘을 설명하기 위한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 장치를 포함하는 객체 검출 시스템의 예를 도시한 도면이다.
일 실시예에서 카메라(10)에서 촬영된 영상은 네트워크(20)를 통해 NVR(30) 및 영상 획득 장치(40)로 전달될 수 있다. 또한, 영상 획득 장치(40)에서 획득한 영상은 본 발명의 일 실시예에 따른 객체 검출 장치(100)로 전달될 수 있다. 이 경우, 영상 획득 장치(40)와 객체 검출 장치(100)는 네트워크(20)를 통해 데이터를 송수신할 수 있다.
다른 실시예에서 영상 획득 장치(40)는 객체 검출 장치(100)에 내장된 하드웨어 모듈일 수 있고, 객체 검출 장치에서 실행되는 소프트웨어 모듈일 수도 있다. 이 경우, 객체 검출 장치(100)는 네트워크(20)를 통해 카메라(10)에서 촬영된 영상을 바로 획득할 수 있다. 뿐만 아니라, 일 실시예에서 객체 검출 장치(100)는 카메라 모듈을 포함하여, 직접 영상을 촬영할 수도 있다.
일 실시예에서 객체 검출 장치(100)는 영상에 포함된 복수의 프레임 이미지를 획득할 수 있고, 제1 프레임 이미지에서 복수의 객체에 대응되는 바운딩 박스를 검출할 수 있다. 또한, 객체 검출 장치(100)는 각각의 바운딩 박스에 식별값을 부여할 수 있으며, 단일 객체에 대응되는 복수의 바운딩 박스에 동일한 식별값을 부여할 수 있다. 따라서, 일 실시예에서 서로 다른 식별값이 부여된 복수의 바운딩 박스에 대해 후술되는 객체 검출 방법이 수행된 결과, 단일 객체에 대응되는 하나 이상의 바운딩 박스 끼리는 동일한 식별값이 부여될 수 있다.
일 실시예에서 바운딩 박스는 검출된 객체 영역에 대응될 수 있다. 예를 들어 제1 객체가 사람의 머리인 경우 제1 객체에 대응되는 바운딩 박스는 사람의 머리 영역에 대응될 수 있고, 제2 객체가 사람의 몸체인 경우 제2 객체에 대응되는 바운딩 박스는 사람의 몸체 영역에 대응될 수 있다.
일 실시예에서 전술한 식별값은 각각의 객체를 식별하기 위한 데이터일 수 있다. 예를 들어 제1 프레임 이미지에서 특정 사람 객체의 바운딩 박스 및 제2 프레임 이미지에서 검출된 상기 사람 객체의 바운딩 박스에는 동일한 식별값이 부여될 수 있다. 또한, 제1 프레임 이미지에서 상기 사람 객체의 복수의 영역에 대응되는 복수의 바운딩 박스가 검출되는 경우, 상술한 복수의 바운딩 박스에는 모두 동일한 식별값이 부여될 수 있다. 바운딩 박스에 식별값을 부여하여 객체를 검출하는 구체적인 방법에 대하여는 이하 도 3 내지 도 13에서 후술한다.
도 2는 본 발명의 일 실시예에 따른 객체 검출 장치의 구성 및 동작을 설명하기 위한 도면이다.
일 실시예에서 객체 검출 장치(100)는 입출력 인터페이스(140), 메모리(110), 프로세서(120) 및 통신 모듈(130)을 포함할 수 있다. 메모리(110)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(110)에는 객체 검출 장치(100)를 제어하기 위한 프로그램 코드 및 설정, 복수의 프레임 이미지 및 바운딩 박스의 데이터 및 식별값 정보가 저장될 수 있다.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 모듈(130)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(130)은 네트워크를 통해 카메라, 영상 획득 장치 또는 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 객체 검출 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(130)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈(130)을 통해 객체 검출 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(130)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 컨텐츠, 파일 및 데이터 베이스등은 객체 검출 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
또한, 통신 모듈(130)의 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다.
입출력 인터페이스(140)는 사용자의 입력을 수신하고, 출력 데이터를 디스플레이 할 수 있다. 일 실시예에 따른 입출력 인터페이스(140)는 수신한 영상을 디스플레이에 표시할 수 있고, 상기 디스플레이에 검출된 객체에 대응하는 바운딩 박스를 오버레이(overlay) 하여 표시할 수 있다.
또한, 다른 실시예들에서 객체 검출 장치(100)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 객체 검출 장치(100)는 객체 검출 장치의 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
또한, 비록 도 2에는 도시되지 않았지만 객체 검출 장치(100)는 하나 이상의 카메라 모듈을 더 포함할 수 있다. 본 발명의 일 실시예에 따르면, 객체 검출 장치(100)는 카메라 모듈을 통해 촬영한 영상을 이용하여 복수의 프레임 이미지를 획득할 수 있다.
도 3은 본 발명의 일 실시예에 따른 객체 검출 방법의 순서도이다.
일 실시예에서 객체 검출 장치는 복수의 프레임 이미지를 획득할 수 있다(S110). 상기 복수의 프레임 이미지는 영상의 프레임 단위로 획득된 이미지로, 시간의 흐름에 따라 순차적으로 획득될 수 있다. 따라서, 이하 후술되는 제1 프레임 이미지 내지 제3 프레임 이미지는 별도의 설명이 없더라도 단일 영상에서 순차적으로 획득된 프레임 이미지임을 가정하고 설명한다.
일 실시예에서 객체 검출 장치는 제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출할 수 있다(S120). 일 실시예에서 객체 검출 장치가 사람 객체를 검출하는 경우, 제1 객체와 제2 객체는 모두 동일한 사람 객체의 일부 영역에 대응될 수 있다. 일 실시예에서 제1 객체는 사람의 머리일 수 있고 제2 객체는 사람의 몸체일 수 있다.
전술한 바, 바운딩 박스는 객체가 검출된 영역에 대응될 수 있다. 따라서, 일 실시예에서 제1 바운딩 박스는 사람의 머리 영역에 대응될 수 있고, 제2 바운딩 박스는 사람의 몸체 영역에 대응될 수 있다.
일 실시예에서 바운딩 박스는 각 꼭지점의 좌표를 이용하여 저장될 수 있다. 바운딩 박스의 형태는 한정되지 않으나, 예를 들어 사각형 형태인 경우 4개의 꼭지점 좌표를 이용하여 바운딩 박스의 데이터를 저장할 수 있다. 또한, 바운딩 박스의 꼭지점 좌표는 프레임 이미지 내에서의 상대 좌표일 수 있다.
일 실시예에서 객체 검출 장치는 제1 바운딩 박스에 제1 식별값을 부여하고, 제2 바운딩 박스에 제2 식별값을 부여할 수 있다(S130). 객체 검출 장치는 우선 검출된 각각의 객체의 바운딩 박스에 대하여 서로 상이한 식별값을 부여할 수 있다. 일 실시예에서 사람의 머리에 대응되는 바운딩 박스와 사람의 몸체에 대응되는 바운딩 박스가 검출되더라도, 동일한 사람의 머리와 몸체에 대한 바운딩 박스가 아닐 수 있다. 따라서, 우선 각각의 바운딩 박스에 모두 상이한 식별값이 부여될 수 있다.
일 실시예에서 객체 검출 장치는 제2 프레임 이미지에서의 제1 객체의 가상 바운딩 박스를 생성할 수 있다(S140). 객체 검출 장치는 제1 프레임 이미지에서의 제1 객체의 제1 바운딩 박스의 위치를 기초로 제2 프레임 이미지에서의 제1 객체의 가상 바운딩 박스의 위치를 추정할 수 있다. 일 실시예에서 객체 검출 장치는 칼만 필터를 이용하여 제1 객체의 가상 바운딩 박스의 위치를 추정할 수 있다. 가상 바운딩 박스는 제2 프레임에서 검출된 바운딩 박스 중 하나와 바운딩 박스 간 겹치는 영역의 넓이를 기초로 매핑될 수 있다.
일 실시예에서 제2 프레임 이미지에서 가상 바운딩 박스와 대응되는 바운딩 박스가 검출되지 않은 경우, 제3 프레임 이미지에서 검출된 바운딩 박스와 가상 바운딩 박스가 매핑될 수 있다. 이하 제2 프레임에서 검출된 제3 바운딩 박스가 가상 바운딩 박스와 매핑되었다고 가정하고 서술한다.
일 실시예에서 객체 검출 장치는 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 가상 바운딩 박스간 겹치는 영역의 넓이를 기초로, 제3 바운딩 박스에 제1 식별값을 부여할 수 있다(S150). 일 실시예에서 객체 검출 장치는 제3 바운딩 박스와 가상 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인 경우, 제3 바운딩 박스에 제1 식별값을 부여할 수 있다. 이 경우, 제3 바운딩 박스는 제1 객체의 바운딩 박스일 확률이 높으므로, 객체 검출 장치는 제3 바운딩 박스에 제1 객체의 제1 바운딩 박스 동일한 식별값을 부여할 수 있다.
일 실시예에서 객체 검출 장치는 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역의 넓이를 기초로, 제2 식별값을 제1 식별값으로 변경할 수 있다(S160). 일 실시예에서 제1 바운딩 박스가 사람의 머리 영역에 대응되고 제2 바운딩 박스가 사람의 몸체 영역에 대응되는 경우, 제1 바운딩 박스와 제2 바운딩 박스는 동일한 사람 객체 영역에 대하여 생성되는 것이므로 동일한 식별값이 부여될 필요가 있다. 따라서 본 실시예에서 객체 검출 장치는 단일 객체에 대하여 상이하게 부여된 바운딩 박스의 식별값을 통일시킬 수 있다.
이하 각각의 단계에 대한 세부 동작에 대하여 상세히 후술한다.
도 4 내지 도 5는 본 발명의 일 실시예에 따라 바운딩 박스를 생성하는 방법을 설명하기 위한 도면이다.
도 4의 (a)를 참조할 때, 객체 검출 장치는 프레임 이미지에 포함된 객체 영역을 지정된 단위로 분할하여 격자(201)를 형성할 수 있다. 이후, 객체 검출 장치는 객체의 중심점(202)에 해당하는 격자를 획득할 수 있다. 예를 들어 사람의 머리 영역의 중심에 대응되는 격자를 획득할 수도 있고, 같이 사람의 몸체 영역의 중심에 대응되는 격자를 획득할 수도 있다. 이 경우, 도 4의 (b)에 도시된 바와 같이 획득된 객체의 중심점(202)은 프레임 이미지 상에서의 객체 영역의 중심에 해당하므로, 실제 객체의 중심은 아님에 유의한다.
따라서 이후, 객체 검출 장치는 회귀 분석을 수행하여 실제 객체의 크기를 추정할 수 있다. 이를 통해 도 4의 (c)에 도시된 바와 같이 객체 검출 장치는 보정된 객체의 중심점 및 객체의 크기를 이용하여 객체 영역에 대응되는 바운딩 박스(203)를 생성할 수 있다. 바운딩 박스의 형태는 한정되지 않으나, 일 실시예에서 객체 검출 장치는 생성된 바운딩 박스(203)가 사각형인 경우 전술한 객체의 크기 및 보정된 객체의 중심점을 이용하여 바운딩 박스의 꼭지점 좌표 정보를 획득할 수 있다.
도 5는 일 실시예에 따른 바운딩 박스의 데이터 포맷의 일 예이다.
일 실시예에서 프레임 이미지에 포함된 객체의 중심 좌표 (x,y)와 객체의 가로길이 및 세로길이 (w, h) 가 획득된 경우, 바운딩 박스의 좌상단, 우하단 또는 우상단, 좌하단의 꼭지점 좌표 (x1, y1), (x2, y2)가 획득될 수 있다. 이 경우, 해당 프레임 이미지에 포함된 바운딩 박스 데이터(301)는 도 5와 같이 도시될 수 있다.
도 6은 본 발명의 일 실시예에 따라 단일 객체에 대하여 생성된 복수의 바운딩 박스를 설명하기 위한 도면이다. 이하, 도 6을 참조하여 단일 객체의 복수 영역이 검출되는 방법에 대하여 상세히 설명한다.
본 발명의 몇몇 실시예에 따른 객체 검출 장치는 사람을 검출할 수 있고, 보다 구체적으로 사람의 머리와 몸체를 독립적으로 검출할 수 있다. 최종적으로 단일 사람 객체를 검출 하기 위해 사람의 여러 부위를 독립적으로 검출하는 경우, 사람의 일부 영역이 구조물 또는 다른 객체에 의해 가려지더라도 이동하는 사람 객체에 대한 안정적인 추적이 가능하다.
예를 들어 사람 객체를 검출하기 위해 사람의 몸체가 검출되어야 하는 경우, 도 6의 (a)와 같은 프레임 이미지에서는 사람의 몸체가 구조물에 의해 가려지므로 사람 객체의 검출이 불가하다. 반면, 본 발명의 몇몇 실시예에 따라 사람의 여러 부위를 독립적으로 검출하는 경우 사람의 머리 영역만 검출되더라도 사람 객체에 대한 검출이 가능할 수 있다.
특히, 본 발명의 몇몇 실시예에 따른 객체 검출 방법은 제1 프레임 이미지에서 사람의 머리 객체(210a)만 검출되더라도, 이후 제2 프레임 이미지에서 사람의 머리(210b) 및 몸체(212)가 동시에 검출되는 경우의 바운딩 박스 정보를 이용하여 객체 검출 필터의 상수를 갱신할 수 있고, 이를 통해 객체 검출의 정확도가 상승될 수 있다.
이하, 일 실시예에서 객체 검출 장치가 사람 객체를 검출하기 위해 사람의 머리 및 몸체를 각각 검출하는 방법에 있어, 사람의 머리 객체를 검출하는 방법에 대하여 설명한다.
일 실시예에서 객체 추적 장치는 도 6의 (a)에 도시된 제1 프레임 이미지에서 검출된 사람의 머리 객체(210a)에 추적기(tracker)를 할당한다. 추적기는 해당 분야의 통상적인 기술자가 선택할 수 있는 모든 종류의 추적기의 사용이 가능하고, 바람직하게는 칼만 필터(Kalman Filter) 기반의 추적기가 사용될 수도 있다. 이하 명확한 설명을 위해 칼만 필터 추적기를 이용하여 객체를 검출한다고 가정하여 설명한다. 사람의 몸체에 대한 추적도 이와 동일하게 수행될 수 있음은 물론이다.
이후, 도 6의 (b)에 도시된 제2 프레임 이미지를 참조할 때, 칼만 필터를 이용하여 제2 프레임 이미지에서의 제1 객체의 가상 바운딩 박스(211)가 생성될 수 있다. 객체 검출 장치는 생성된 가상 바운딩 박스(211)와 제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스(210b) 간 겹치는 영역이 기준치 이상인 경우, 가상 바운딩 박스(211)와 제3 바운딩 박스(210b)를 매핑하고, 제1 객체가 검출된 것으로 판단할 수 있다. 또한, 제3 바운딩 박스(210b)를 이용하여 제1 객체를 검출하는 칼만 필터를 갱신할 수 있다.
일 실시예에서 가상 바운딩 박스가 제3 바운딩 박스(210b)와 매핑되지 않은 경우, 객체 검출 장치는 제3 프레임 이미지에서의 제1 객체의 제2 가상 바운딩 박스를 더 생성할 수 있다. 가상 바운딩 박스가 생성되는 최대 프레임 개수는 한정되지 않으며, 일 실시예에서 객체 검출 장치는 메모리 사용량을 제한하기 위해 최대 30 프레임까지의 가상 바운딩 박스를 생성할 수도 있다. 다만 전술한 최대 프레임의 개수는 반드시 30개로 한정되는 것은 아님에 유의한다.
일 실시예에서 칼만 필터 추적기는 제1 프레임 이미지에서 검출된 하나 이상의 객체에 각각 할당될 수 있으므로, 제1 프레임 이미지에서 검출된 하나 이상의 객체에 각각에 대하여 전술한 단계가 모두 수행될 수 있다.
도 7을 참조하여, 일 실시예에서 가상 바운딩 박스가 제3 바운딩 박스와 매핑되지 않은 경우에 대하여 상세히 설명한다.
일 실시예에서 객체 검출 장치는 제1 객체의 가상 바운딩 박스와 제3 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인지 여부를 확인할 수 있다(S200).
일 실시예에서 객체 검출 장치는 제1 객체의 가상 바운딩 박스와 제3 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인 경우, 제3 바운딩 박스에 제1 식별값을 부여할 수 있다(S220).
반면, 일 실시예에서 제1 객체의 가상 바운딩 박스와 제3 바운딩 박스간 겹치는 영역의 넓이가 기준치 미만인 경우, 제3 바운딩 박스는 제1 객체에 대응되는 바운딩 박스가 아닐 확률이 높다. 따라서 객체 검출 장치는 제3 바운딩 박스에 제1 객체의 식별값과 상이한 제3 식별값을 부여할 수 있다(S210).
전술한 바와 같이 복수의 프레임 이미지마다 검출된 객체에 대응되는 바운딩 박스를 생성하는 경우, 바운딩 박스 데이터는 다양한 정보를 기준으로 생성될 수 있다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 객체와 바운딩 박스에 관한 데이터 포맷의 일 예이다.
예를 들어 도 8에 도시된 바와 같이 각각의 프레임 이미지를 기준으로 바운딩 박스의 데이터가 생성(302)될 수도 있고, 도 9에 도시된 바와 같이 각각의 객체 식별값을 기준으로 바운딩 박스의 데이터가 생성(303)될 수도 있다.
전술한 바와 같이 프레임 이미지 각각에서 객체를 검출하고, 복수의 프레임 이미지에서 검출된 객체를 추적한 후, 객체 추정 장치는 단일 객체에 대하여 독립적으로 추적된 복수의 영역에 대응되는 바운딩 박스의 식별값을 통일 시킬 수 있다. 즉, 객체 검출 장치가 동일한 사람의 머리와 몸체를 독립적으로 검출하여 추적한 경우, 동일한 사람의 머리에 대응되는 식별값과 몸체에 대응되는 식별값은 통일되어야 한다.
이렇게 머리와 몸체를 독립적으로 검출 및 추적하여 그 결과를 병합함으로써 사람의 가려짐, 겹침 등으로 인해 추적이 어려워지는 경우에도 객체 검출을 수행할 수 있다. 특히, CCTV의 촬영 각도에서는 사람의 머리가 가려지는 경우가 적기 때문에 머리를 검출 및 추적하면 신체 일부의 가려짐 겹침에 강인한 객체 검출 결과를 획득할 수 있다.
도 10은 도 3의 일부 동작을 상세히 설명하기 위한 도면이다.
일 실시예에서 객체 검출 장치는 제1 프레임 이미지에서 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인지 여부를 확인할 수 있다(S310). 일 실시예에서 제1 바운딩 박스는 사람의 머리 영역에 대응될 수 있고, 제2 바운딩 박스는 사람의 몸체 영역에 대응될 수 있다.
일 실시예에서 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역의 넓이가 기준치 미만인 경우 제1 바운딩 박스에 대응되는 사람의 머리와 제2 바운딩 박스에 대응되는 사람의 몸체는 각각 동일한 사람에 대응되는 것이 아닐 수 있으므로, 이 경우 객체 검출 장치는 제2 바운딩 박스에 부여된 제2 식별값을 변경하지 않을 수 있다.
일 실시예에서, 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상인 경우 제1 바운딩 박스에 대응되는 사람의 머리와 제2 바운딩 박스에 대응되는 사람의 몸체는 각각 동일한 사람에게 대응될 수 있다. 따라서, 이 경우 객체 검출 장치는 제2 바운딩 박스에 부여된 제2 식별값을 제1 바운딩 박스에 부여된 제1 식별값으로 변경할 수 있다(S320).
이하 도 11을 참조하여, 바운딩 박스간 중첩 영역이 많은 경우, 각각의 바운딩 박스에 식별값을 부여하는 방법에 대하여 설명한다.
이하, 제1 프레임에서 제1 바운딩 박스, 제2 바운딩 박스 및 제5 바운딩 박스가 검출된 것을 가정한다. 또한 제1 바운딩 박스에는 제1 식별값, 제2 바운딩 박스에는 제2 식별값, 제5 바운딩 박스에는 제3 식별값이 부여된 것을 가정한다.
도 10에서 단계 S310에 따라 제1 프레임 이미지에서 머리 영역에 대응되는 제1 바운딩 박스와 몸체 영역에 대응되는 제2 바운딩 박스간 겹치는 영역의 넓이가 기준치 이상이더라도, 제1 바운딩 박스와 겹치고 다른 몸체 영역에 대응되는 바운딩 박스가 존재하는 경우, 객체 검출 장치는 후술되는 단계 S410을 수행할 수 있다.
일 실시예에서 객체 검출 장치는 제1 프레임 이미지에서 검출된 제5 바운딩 박스와 제1 바운딩 박스간 겹치는 영역의 넓이가 기준 이상인지 여부를 확인할 수 있다(S410).
일 실시예에서 제1 프레임 이미지에서 검출된 제5 바운딩 박스와 제1 바운딩 박스간 겹치는 영역의 넓이가 기준 이상인 경우, 객체 검출 장치는 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역보다 제1 바운딩 박스와 제5 바운딩 박스간 겹치는 영역이 넓은지 여부를 확인할 수 있다(S420).
일 실시예에서 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역보다 제1 바운딩 박스와 제5 바운딩 박스간 겹치는 영역이 넓은 경우, 제1 바운딩 박스에 대응되는 머리와 제5 바운딩 박스에 대응되는 몸체는 동일한 사람에게 대응될 확률이 높다. 따라서 객체 검출 장치는 제5 바운딩 박스에 부여된 제3 식별값을 제1 바운딩 박스에 부여된 제1 식별값으로 변경할 수 있다(S440).
반면, 일 실시예에서 제1 바운딩 박스와 제5 바운딩 박스간 겹치는 영역보다 제1 바운딩 박스와 제2 바운딩 박스간 겹치는 영역이 넓은 경우, 제1 바운딩 박스에 대응되는 머리와 제2 바운딩 박스에 대응되는 몸체가 동일한 사람에게 대응될 확률이 높다. 따라서 객체 검출 장치는 제2 바운딩 박스에 부여된 제2 식별값을 제1 바운딩 박스에 부여된 제1 식별값으로 변경할 수 있다(S430).
이하 도 12를 참조하여 전술한 머리와 몸체 각각에 대한 바운딩 박스에 식별값을 부여하는 방법에 대하여 상세히 설명한다.
도 12에 도시된 제1 프레임 이미지에서 검출된 바운딩 박스의 데이터에 대하여, 머리 영역에 대응되는 제1 바운딩 박스(240) 및 제3 바운딩 박스(220)가 검출되고, 몸체 영역에 대응되는 제2 바운딩 박스(250) 및 제4 바운딩 박스(230)를 획득한 경우를 가정한다.
도시된 바를 참조할 때, 머리에 대응되는 제1 바운딩 박스(240)는 몸체에 대응되는 제2 바운딩 박스(250)와 중첩되는 영역이 존재한다. 이 경우 객체 검출 장치는 제2 바운딩 박스(250)에 대응되는 몸체와 제1 바운딩 박스(240)에 대응되는 머리가 동일한 사람 객체에게 대응되는 것으로 간주하여, 상기 제2 바운딩 박스(250)의 식별값을 제1 바운딩 박스(240)의 식별값으로 변경할 수 있다.
한편, 머리에 대응되는 제3 바운딩 박스(220)는 몸체에 대응되는 제2 바운딩 박스(250) 및 제4 바운딩 박스(230)와 모두 중첩되는 영역이 존재한다.
일 실시예에서 객체 검출 장치는 제2 바운딩 박스(250)와 제4 바운딩 박스(240)중 제3 바운딩 박스(220)와 중첩되는 영역이 더 넓은 바운딩 박스의 식별값을 제2 바운딩 박스의 식별값으로 변경할 수 있다.
다른 실시예에서 객체 검출 장치는 제2 바운딩 박스(250)와 제4 바운딩 박스(240)중 이미 머리에 대응되는 바운딩 박스의 식별값과 동일한 식별값이 부여된 바운딩 박스의 식별값은 변경하지 않을 수 있다.
또 다른 실시예에서 객체 검출 장치는 제2 바운딩 박스(250)와 제4 바운딩 박스(240)중 이미 제3 바운딩 박스(220)와 식별값이 동일한 제5 바운딩 박스와 동일한 프레임 이미지에서 검출된 바운딩 박스의 식별값은 변경하지 않을 수 있다. 예를 들어, 머리에 대응되는 제3 바운딩 박스(220)와 몸체에 대응되는 제5 바운딩 박스의 식별값이 동일하고, 제4 바운딩 박스(230)와 제5 바운딩 박스가 특정 프레임 이미지에서 동시에 검출된 적이 있는 경우, 상기 제4 바운딩 박스(230)에 대응되는 몸체와 제5 바운딩 박스에 대응되는 몸체는 각각 상이한 사람 객체와 대응될 수 있기 때문이다.
도 13은 본 발명의 일 실시예에 따라 복수의 바운딩 박스에 식별값을 부여하는 알고리즘을 설명하기 위한 도면이다.
이하 일 실시예에서 사람 객체를 검출하기 위하여 사람의 머리와 사람의 몸체를 독립적으로 검출한 경우, 동일한 사람에 대하여 머리에 대응되는 바운딩 박스와 몸체에 대응되는 바운딩 박스의 식별값을 일치시키는 방법에 대하여 설명한다.
일 실시예에서 객체 검출 장치는 프레임 이미지마다 검출된 바운딩 박스 데이터를 획득하고, 몸체의 바운딩 박스를 머리의 바운딩 박스와 매칭할 수 있다. 이후 모든 몸체의 바운딩 박스에 대해 후술되는 단계를 수행한다.
우선 객체 검출 장치는 타겟 머리 바운딩 박스가 검출된 프레임 이미지 중 타겟 몸체 바운딩 박스에 타겟 머리 바운딩 박스가 포함되어 있는 프레임 이미지의 비율을 획득할 수 있다. 객체 검출 장치는 전술한 비율이 5% 이하인 경우, 타겟 머리 바운딩 박스를 몸체 바운딩 박스와 매칭할 후보 목록에서 제외할 수 있다.
일 실시예에서 몸체 바운딩 박스에 머리 바운딩 박스가 포함되어 있는 경우, 머리 바운딩 박스 넓이 대비 몸체 바운딩 박스와 머리 바운딩 박스간 겹치는 영역의 넓이는 바람직 하게 80% 이상일 수 있다. 다만, 본 발명의 몇몇 실시예에 따른 전술한 영역의 넓이의 수치가 이에 한정되는 것은 아님에 유의한다.
이후, 객체 검출 장치는 몸체 바운딩 박스와 매칭할 후보 목록에서 제외되지 않은 하나 이상의 머리 바운딩 박스 목록을 전술한 비율을 기준으로 내림차순 정렬을 수행할 수 있다. 그리고, 객체 검출 장치는 몸체 바운딩 박스와 매칭할 후보 목록의 모든 머리 바운딩 박스에 이미 연결되어 있는 몸체 바운딩 박스의 목록을 획득할 수 있다.
그 다음 객체 검출 장치는 몸체 바운딩 박스와 매칭할 후보 목록에서 제외되지 않은 하나 이상의 머리 바운딩 박스의 목록에 대하여 순차적으로 후술되는 몸체와의 연결 동작을 수행할 수 있다.
모든 몸체 바운딩 박스 목록에서 순차적으로 획득된 몸체 바운딩 박스를 A, 이미 특정 머리 바운딩 박스와 연결되어 있는 몸체 바운딩 박스 중 순차적으로 획득된 몸체 바운딩 박스를 B 라고 가정한다. 일 실시예에서 A가 존재하는 프레임 이미지 중 B가 존재하는 프레임 이미지의 비율, 또는 B가 존재하는 프레임 이미지 중 A가 존재하는 프레임 이미지의 비율이 10% 이상인 B가 적어도 하나 존재하는 경우, A와 B의 몸체 바운딩 박스는 동일한 사람과 대응될 확률이 낮다. 이 경우 객체 검출 장치는 몸체 바운딩 박스와 매칭할 후보 목록의 다음 순서에 대응되는 머리 바운딩 박스에 대해 상기 동작을 반복하여 수행한다.
선택적 실시예에서 객체 검출 장치는 A가 존재하는 프레임 이미지 중 B가 존재하는 프레임 이미지의 비율, 또는 B가 존재하는 프레임 이미지 중 A가 존재하는 프레임 이미지의 비율이 10% 이상인 B가 존재하지 않는 경우, 몸체의 식별값을 머리의 식별값과 동일하게 변경할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 객체 검출 장치에 의해 수행되는 객체 검출 방법에 있어서,
    복수의 프레임 이미지를 획득하는 단계;
    제1 프레임 이미지에서 제1 객체의 제1 바운딩 박스 및 제2 객체의 제2 바운딩 박스를 검출하는 단계;
    상기 제1 바운딩 박스에 제1 식별값을 부여하고, 상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계;
    제2 프레임 이미지에서의 상기 제1 객체의 가상 바운딩 박스를 생성하는 단계;
    제2 프레임 이미지에서 검출된 제1 객체의 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계; 및
    상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계;
    를 포함하는 객체 검출 방법.
  2. 제1 항에 있어서,
    상기 제1 바운딩 박스 및 제2 바운딩 박스를 검출하는 단계는,
    상기 제1 바운딩 박스의 중심좌표, 가로길이 및 세로길이를 이용하여 상기 제1 바운딩 박스의 꼭지점 좌표를 획득하고, 상기 제2 바운딩 박스의 중심좌표, 가로길이 및 세로길이를 이용하여 상기 제2 바운딩 박스의 꼭지점 좌표를 획득하는 단계를 포함하는,
    객체 검출 방법.
  3. 제1 항에 있어서,
    상기 가상 바운딩 박스를 생성하는 단계는,
    상기 제1 바운딩 박스를 기초로 제1 가상 바운딩 박스를 생성하고,
    상기 제3 바운딩 박스와 상기 제1 가상 바운딩 박스를 매핑하는 단계를 포함하는
    객체 검출 방법.
  4. 제3 항에 있어서,
    상기 제3 바운딩 박스와 상기 가상 바운딩 박스를 매핑하는 단계는,
    상기 제3 바운딩 박스가 검출되지 않는 경우, 제3 프레임 이미지에서의 제2 가상 바운딩 박스를 생성하는 단계; 및
    상기 제3 프레임 이미지에서 검출된 제1 객체의 제4 바운딩 박스와 상기 제2 가상 바운딩 박스를 매핑하는 단계를 포함하고,
    상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계는,
    상기 제3 프레임 이미지에서 검출된 제1 객체의 제4 바운딩 박스와 상기 제2 가상 바운딩 박스 간 겹치는 영역의 넓이를 기초로, 상기 제4 바운딩 박스에 상기 제1 식별값을 부여하는 단계를 포함하는,
    객체 검출 방법.
  5. 제1 항에 있어서,
    상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계는,
    상기 제3 바운딩 박스와 상기 가상 바운딩 박스 간 겹치는 영역의 넓이가 기준치 이상인 경우 상기 제3 바운딩 박스에 상기 제1 식별값을 부여하는 단계를 포함하는,
    객체 검출 방법.
  6. 제1 항에 있어서,
    상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계는,
    상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역의 넓이가 기준치 이상인 경우 상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계를 포함하는,
    객체 검출 방법.
  7. 제6 항에 있어서,
    상기 제2 바운딩 박스를 검출하는 단계는,
    제3 객체에 대한 제5 바운딩 박스를 검출하는 단계를 포함하고,
    상기 제2 바운딩 박스에 제2 식별값을 부여하는 단계는,
    상기 제5 바운딩 박스에 제3 식별값을 부여하는 단계를 포함하고,
    상기 제2 식별값을 상기 제1 식별값으로 변경하는 단계는,
    상기 제1 바운딩 박스와 상기 제2 바운딩 박스 간 겹치는 영역보다 상기 제1 바운딩 박스와 상기 제5 바운딩 박스 간 겹치는 영역이 넓은 경우, 상기 제3 식별값을 상기 제1 식별값으로 변경하는 단계를 포함하는,
    객체 검출 방법.
PCT/KR2020/013506 2019-10-18 2020-10-05 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치 WO2021075772A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/769,379 US20230386043A1 (en) 2019-10-18 2020-10-05 Object detection method and device using multiple area detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190129707A KR102303779B1 (ko) 2019-10-18 2019-10-18 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
KR10-2019-0129707 2019-10-18

Publications (1)

Publication Number Publication Date
WO2021075772A1 true WO2021075772A1 (ko) 2021-04-22

Family

ID=75537900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013506 WO2021075772A1 (ko) 2019-10-18 2020-10-05 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20230386043A1 (ko)
KR (1) KR102303779B1 (ko)
WO (1) WO2021075772A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085520A1 (ko) * 2021-11-15 2023-05-19 세종대학교산학협력단 멀티 모델을 이용한 cctv 영상의 강건한 얼굴 비식별화 방법 및 시스템
SE2350770A1 (en) * 2022-06-29 2023-12-30 Hanwha Vision Co Ltd System and device for counting people in side view image

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102468675B1 (ko) * 2022-07-29 2022-11-21 주식회사 에이모 영상에서 검수 대상 이미지 프레임을 선택하는 방법 및 장치
KR102578113B1 (ko) * 2023-04-10 2023-09-14 전남대학교 산학협력단 3차원 객체 형상 획득 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053311A1 (ja) * 2010-10-22 2012-04-26 Ｎｅｃソフト株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム
JP2016126624A (ja) * 2015-01-06 2016-07-11 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
KR20180097944A (ko) * 2017-02-24 2018-09-03 재단법인대구경북과학기술원 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법
JP2019036008A (ja) * 2017-08-10 2019-03-07 富士通株式会社 制御プログラム、制御方法、及び情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012053311A1 (ja) * 2010-10-22 2012-04-26 Ｎｅｃソフト株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム
JP5569990B2 (ja) * 2010-10-22 2014-08-13 Ｎｅｃソリューションイノベータ株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム
JP2016126624A (ja) * 2015-01-06 2016-07-11 Kddi株式会社 オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法
KR20180097944A (ko) * 2017-02-24 2018-09-03 재단법인대구경북과학기술원 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법
JP2019036008A (ja) * 2017-08-10 2019-03-07 富士通株式会社 制御プログラム、制御方法、及び情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085520A1 (ko) * 2021-11-15 2023-05-19 세종대학교산학협력단 멀티 모델을 이용한 cctv 영상의 강건한 얼굴 비식별화 방법 및 시스템
SE2350770A1 (en) * 2022-06-29 2023-12-30 Hanwha Vision Co Ltd System and device for counting people in side view image

Also Published As

Publication number Publication date
KR20210046217A (ko) 2021-04-28
US20230386043A1 (en) 2023-11-30
KR102303779B1 (ko) 2021-09-23

Similar Documents

Publication Publication Date Title
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
US11127203B2 (en) Leveraging crowdsourced data for localization and mapping within an environment
WO2018128355A1 (en) Robot and electronic device for performing hand-eye calibration
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
WO2016003191A1 (ko) Ｏｃｒ를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템
WO2015005577A1 (ko) 카메라 포즈 추정 장치 및 방법
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
WO2022186411A1 (ko) 로케이션 기반 스마트홈 제어 방법 및 시스템
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2021025364A1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
WO2023080455A1 (ko) 족부 정보 처리 방법 및 장치
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
CN108613672B (zh) 对象定位方法、对象定位系统和电子设备
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2024090786A1 (ko) 레이더 데이터에 기반한 낙상 감지 모델의 학습 방법
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2018186507A1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
WO2019194561A1 (ko) 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
WO2022231316A1 (ko) 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법
KR101733321B1 (ko) 다중 카메라 환경에서 이벤트 인식을 위한 컴포넌트 기반 통합 실시간 감시 시스템
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2017217595A1 (ko) 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템
WO2019083068A1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877212

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 12.09.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20877212

Country of ref document: EP

Kind code of ref document: A1