WO2022131733A1 - Method, system, and non-transitory computer-readable recording medium for estimating information regarding object on basis of images in low power wide area network (lpwan) environment - Google Patents

Method, system, and non-transitory computer-readable recording medium for estimating information regarding object on basis of images in low power wide area network (lpwan) environment Download PDF

Info

Publication number
WO2022131733A1
WO2022131733A1 PCT/KR2021/018927 KR2021018927W WO2022131733A1 WO 2022131733 A1 WO2022131733 A1 WO 2022131733A1 KR 2021018927 W KR2021018927 W KR 2021018927W WO 2022131733 A1 WO2022131733 A1 WO 2022131733A1
Authority
WO
WIPO (PCT)
Prior art keywords
category information
captured image
detection result
present
image
Prior art date
Application number
PCT/KR2021/018927
Other languages
French (fr)
Korean (ko)
Inventor
정종수
박수민
송보근
Original Assignee
주식회사 콕스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 콕스랩 filed Critical 주식회사 콕스랩
Publication of WO2022131733A1 publication Critical patent/WO2022131733A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present invention relates to a method, a system, and a non-transitory computer-readable recording medium for estimating information about an object based on an image in an LPWAN (Low Power Wide Area Network) environment.
  • LPWAN Low Power Wide Area Network
  • a technique for detecting a specific object in the above captured image by analyzing a captured image obtained by a plurality of network cameras using an artificial neural network model can be exemplified.
  • an object from an image using an artificial neural network model In order to detect an object from an image using an artificial neural network model
  • concepts such as edge computing and on-device AI which have been in the spotlight recently, reduce the load on the central server by distributing the functions of the central server, and reduce the amount of data exchanged with the central server through the communication network.
  • the goal is to increase the response speed of the model.
  • reducing the communication load that is, the amount of data exchanged with the central server, is a factor that directly affects the reduction of system construction cost in addition to increasing the response speed of AI models.
  • a processor with limited computing power is used instead of a high-spec GPU for the purpose of reducing the system construction cost, and a broadband network such as Ethernet, Wi-Fi, LTE, etc.
  • a bandwidth-limited communication network such as LPWAN (Low Power Wide Area Network) is used (that is, the amount of data exchanged with the server is minimized)
  • the artificial neural network model will be better than when using a high-end GPU and broadband network. performance is likely to deteriorate. This is because, as described above, many calculations are required for object detection based on an artificial neural network model.
  • the present inventor(s) supports the construction of an object detection system using an artificial neural network model at a low cost by using a network camera having only limited computing power and an LPWAN having a limited bandwidth, while supporting the performance of the artificial neural network model (ie, detection speed and accuracy) is also proposed to support a high level of support.
  • An object of the present invention is to solve all of the problems of the prior art described above.
  • the present invention provides an object detection model that is learned to estimate upper category information of an object to be detected in a captured image, based on the detection result of the object in the captured image of the object and the detection result Obtaining the generated partial image of the captured image, and using the object classification model trained to estimate sub-category information of the object from the partial image regarding the captured image, the obtained detection result and the above Another purpose is to estimate sub-category information of the above object based on a partial image of , and to include upper-category information of the above object in the detection result.
  • the present invention detects the above object in the captured image of the above object using an object detection model that is learned to estimate upper category information of the object to be detected in the captured image, and the detection result and the above detection Another purpose is to transmit a partial image related to the above captured image generated based on the result to the server, and to include upper category information of the above object in the above detection result.
  • Another object of the present invention is to support the construction of an object detection system using an artificial neural network model at a low cost while maintaining high performance of the artificial neural network model.
  • a representative configuration of the present invention for achieving the above object is as follows.
  • an object detection model is trained to estimate upper category information of an object to be detected in the captured image, and the object is detected in the captured image of the object and generated based on the detection result obtaining a partial image related to the captured image, and using an object classification model trained to estimate sub-category information of the object from the partial image regarding the captured image and estimating lower category information of the object based on the method, wherein the detection result includes upper category information of the object.
  • detecting the object in a captured image of the object using an object detection model trained to estimate upper category information of the object to be detected in the captured image, and the detection result and the detection There is provided a method comprising transmitting a partial image related to the captured image generated based on a result to a server, wherein the detection result includes upper category information of the object.
  • a system comprising an object classifier for estimating lower category information of the object based on the partial image, and the detection result includes upper category information of the object.
  • an object detection unit for detecting the object from a captured image of the object by using an object detection model trained to estimate upper category information of an object to be detected from the captured image, and the detection result and A system
  • a detection result management unit configured to transmit a partial image related to the captured image generated based on the detection result to a server, wherein the detection result includes upper category information of the object.
  • the present invention it is possible to support the construction of an object detection system using an artificial neural network model at a low cost while maintaining the performance of the artificial neural network model high.
  • FIG. 1 is a diagram illustrating a schematic configuration of an entire system for estimating information about an object based on an image in an LPWAN environment according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating in detail an internal configuration of a server according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating in detail an internal configuration of a network camera according to an embodiment of the present invention.
  • FIG. 4 is a diagram exemplarily illustrating a process of estimating information about an object according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a schematic configuration of an entire system for estimating information about an object based on an image in an LPWAN environment according to an embodiment of the present invention.
  • the entire system may include an LPWAN 100 , a server 200 , and a network camera 300 .
  • LPWAN Low Power Wide Area Network
  • LPWAN 100 means a low-power wireless wide area network that has a very wide service range of 10 km or more and provides a communication speed of several hundred kilobits per second (kbps) do.
  • LPWAN 100 includes LoRaWAN, SIGFOX, LTE-MTC, Narrowband Internet of Things (NB-IoT), and the like, and in particular, LoRaWAN
  • the communication speed is slower than the existing short-distance wireless communication such as silver, Wi-Fi, Bluetooth, and Zigbee, long-distance communication of about 30 km in open areas and about 1 km in the city center is possible.
  • the server 200 detects the above object in the captured image of the above object using an object detection model that is learned to estimate upper category information of the object to be detected in the captured image.
  • an object classification model that is trained to acquire a partial image of the captured image generated based on the obtained result and the detection result above, and estimate sub-category information of the object from the partial image regarding the captured image Accordingly, it is possible to perform a function of estimating sub-category information of the above object based on the obtained detection result and the above partial image.
  • the above detection result may include upper category information of the above object.
  • the network camera 300 detects the above object in the captured image of the above object using an object detection model that is learned to estimate upper category information of the object to be detected in the captured image. Detect and transmit the detection result and the partial image related to the captured image generated based on the detection result to the server.
  • the above detection result may include upper category information of the above object.
  • the network camera 300 is a digital device including a function capable of communicating with the server 200 and an image capturing function in an LPWAN environment, and is provided with a memory means and equipped with a microprocessor. Any digital device with computing capability may be employed as the network camera 300 according to the present invention.
  • the network camera 300 according to an embodiment of the present invention may refer to the network camera itself (eg, a commercial security camera), but is connected (or combined) with the network camera by wire and/or wirelessly. It may also refer to a hardware device that can be used inclusively.
  • the server 200 and the network camera 300 may include an application (not shown) supporting a function of estimating information about an object based on an image in an LPWAN environment according to the present invention.
  • an application may be downloaded from an external application distribution server (not shown).
  • at least a part of the application may be replaced with a hardware device or a firmware device capable of performing substantially the same or equivalent function as the application, if necessary.
  • FIG. 2 is a diagram illustrating in detail the internal configuration of the server 200 according to an embodiment of the present invention.
  • the server 200 includes a detection result acquisition unit 210 , an object classification unit 220 , a model management unit 230 , a communication unit 240 , and a control unit ( 250) may be included.
  • the detection result acquisition unit 210, the object classification unit 220, the model management unit 230, the communication unit 240, and the control unit 250, at least some of them are external systems (not shown) and may be a program module in communication with.
  • Such a program module may be included in the server 200 in the form of an operating system, an application program module, or other program modules, and may be physically stored in various known storage devices.
  • Such a program module may be stored in a remote storage device capable of communicating with the server 200 .
  • a program module includes, but is not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention.
  • server 200 although described above with respect to the server 200, this description is exemplary, and at least some of the components or functions of the server 200 may be realized or included in an external system (not shown) as needed. is apparent to those skilled in the art.
  • the detection result acquisition unit 210 uses an object detection model that is learned to estimate upper category information of an object to be detected in a captured image, and is configured to It is possible to perform a function of acquiring a result of detecting an object and a partial image related to the above captured image generated based on the above detection result.
  • the object detection unit 310 may detect the above object from a captured image of the object using the above object detection model, and based on the detection result of the above object Thus, it is possible to generate a partial image related to the above captured image.
  • the detection result acquisition unit 210 may acquire the detection result and the partial image in the LPWAN environment.
  • the above detection result may include upper category information of an object to be detected in a captured image and identification information of the network camera 300 that has performed the detection. That is, the detection result obtained by the detection result obtaining unit 210 according to an embodiment of the present invention may mean a result of detecting an object to be detected in the captured image by the network camera 300 at a higher category level. . And, according to an embodiment of the present invention, the upper category information may be associated with two or more lower category information of an object selected by a user, that is, an object to be detected in a captured image.
  • the detection result acquisition unit 210 determines the upper category information of the above object as 'vehicle', or the user above determines the upper category information associated with the lower category information. As the information, appropriate information may be provided to the above user so that they can select 'vehicle', 'large vehicle', and the like.
  • the detection result acquisition unit 210 determines the sub-category information of the object as 'adult' and 'child', or the user As related sub-category information, appropriate information may be provided to the above user so that 'adult', 'child', 'man', 'female', etc. can be selected.
  • upper category information and lower category information of an object and a method of determining corresponding information according to an embodiment of the present invention are not limited to those described above, and may vary within the scope capable of achieving the object of the present invention. can be changed to
  • the partial image related to the captured image obtained by the detection result obtaining unit 210 is an image related to a region in which an object is detected in the captured image (eg, the above object). may mean an image cut along the boundary of a detected bounding box). And, when a plurality of objects are detected in the captured image, the object detection unit 310 according to an embodiment of the present invention may generate a partial image for each of the plurality of detected objects. In addition, the detection result acquisition unit 210 according to an embodiment of the present invention may acquire the respective generated partial images. Meanwhile, according to an embodiment of the present invention, the partial image above may mean only the partial image itself, but may also include information (eg, coordinates) about the position occupied by the partial image in the captured image.
  • the detection result acquisition unit 210 acquires only a partial image of the captured image, not the entire captured image of the object captured by the network camera 300 as described above, the LPWAN and Even in a communication environment where bandwidth is limited, the object detection system can be operated stably.
  • the object detection model used in the object detection unit 310 may be distributed by reducing the weight of the object detection model generated by the server 200 .
  • the model manager 230 may generate an object detection model that is learned to estimate upper category information of an object to be detected from a captured image.
  • the learning data on the object to be detected in the photographed image used in generating such an object detection model is the photographed image about the object and the labeling data about the photographed image. It may include information about an area in which the above object is located in the image and information on the upper category of the above object. That is, the model manager 230 according to an embodiment of the present invention may train the object detection model so that the object detection model estimates upper category information instead of lower category information of the object.
  • the types of objects to be detected are reduced, and thus, an object can be detected with higher accuracy while processing a smaller amount of calculations compared to the case of estimating sub-category information.
  • the model manager 230 may reduce the weight of the object detection model generated as described above and distribute it to the network camera 300 .
  • the model manager 230 generates an object detection model that is learned to estimate upper category information of an object to be detected from a captured image, and performs pruning and quantization. ) and knowledge distillation, it is possible to reduce the weight of the generated model by using an artificial neural network model lightweight algorithm.
  • the model management unit 230 according to an embodiment of the present invention, in order to enable smooth use even in the network camera 300, which has lower computing power compared to the server 200, a lightweight model as described above.
  • an object detection model used by the object detection unit 310 it may be distributed to the network camera 300 .
  • the weight reduction algorithm according to an embodiment of the present invention is not limited to the ones listed above, and may be variously changed within a range that can achieve the object of the present invention.
  • the object classifying unit 220 provides sub-category information of an object from a partial image related to a captured image obtained by the detection result acquiring unit 210 according to an embodiment of the present invention. Using an object classification model trained to estimate function can be performed.
  • the object classifier 220 uses an object classification model that is learned to estimate sub-category information of an object from the partial image.
  • the above object based on the result of detecting the object in the above captured image by the object detection unit 310 according to an embodiment of the present invention (specifically, upper category information of the above object) and the above partial image of subcategory information can be estimated.
  • the model manager 230 may generate an object classification model that is learned to estimate sub-category information of an object from the partial image above.
  • the learning data on the object used in generating such an object classification model is an image about a region in which the object is detected in a captured image of the object, that is, a partial image and As labeling data regarding the partial image, sub-category information of the above object may be included. That is, the model manager 230 according to an embodiment of the present invention may train the object detection model to estimate information on two or more subcategories of the object selected by the user.
  • a function of specifically classifying an object to be detected in a captured image requires processing a large amount of calculation. According to an embodiment of the present invention, as described above, this function has a lower computing power than the network camera 300 as described above. It is possible to reduce the computational burden of the network camera 300 by performing the operation in the high server 200 .
  • the communication unit 240 performs a function of enabling data transmission/reception to/from the detection result acquisition unit 210 , the object classification unit 220 , and the model management unit 230 .
  • control unit 250 functions to control the flow of data between the detection result acquisition unit 210 , the object classification unit 220 , the model management unit 230 , and the communication unit 240 .
  • the control unit 250 according to the present invention controls the data flow to/from the outside of the server 200 or the data flow between each component of the server 200, so that the detection result obtaining unit 210, the object classifying unit 220 , the model management unit 230 , and the communication unit 240 may be controlled to perform their own functions, respectively.
  • FIG. 3 is a diagram illustrating in detail an internal configuration of a network camera 300 according to an embodiment of the present invention.
  • a network camera 300 may be configured to include an object detection unit 310 , a detection result management unit 320 , a communication unit 330 , and a control unit 340 .
  • the object detection unit 310, the detection result management unit 320, the communication unit 330, and the control unit 340 are program modules in which at least some of them communicate with an external system (not shown).
  • Such a program module may be included in the network camera 300 in the form of an operating system, an application program module, or other program module, and may be physically stored in various known storage devices.
  • such a program module may be stored in a remote storage device capable of communicating with the network camera 300 .
  • such a program module includes, but is not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention.
  • network camera 300 Although described above with respect to the network camera 300, this description is exemplary, and at least some of the components or functions of the network camera 300 may be realized or included in an external system (not shown) as needed. It will be apparent to those skilled in the art that this may be the case.
  • the object detection unit 310 detects the object in the captured image of the object by using the object detection model that is learned to estimate upper category information of the object to be detected in the captured image.
  • the detection function can be performed.
  • the object detection unit 310 may detect the above object from a photographed image of the object by using the above object detection model, and the above detection result is
  • the upper category information of the object and identification information of the network camera 300 that has performed the detection may be included.
  • the object detection model used by the object detection unit 310 according to an embodiment of the present invention to detect an object at a higher category level in the captured image as described above is R-CNN (Region-based Convolutional Neural Networks), YOLO (You Only Look Once) or SSD (Single Shot Multibox Detector) may be generated based on an object recognition model based on an artificial neural network.
  • R-CNN Region-based Convolutional Neural Networks
  • YOLO You Only Look Once
  • SSD Single Shot Multibox Detector
  • the object recognition model based on the artificial neural network according to an embodiment of the present invention is not limited to the above-listed ones, and may be variously changed within the scope that can achieve the object of the present invention.
  • the upper category information of the object to be detected in the captured image may be associated with information on at least two lower categories of the object selected by the user, that is, the object to be detected in the captured image. Meanwhile, since the upper category information and the lower category information have been described in detail above, a description of the corresponding content will be omitted here.
  • the object detection model used in the object detection unit 310 may be distributed by reducing the weight of the object detection model generated by the server 200 .
  • the model manager 230 may generate an object detection model that is learned to estimate upper category information of an object to be detected from a captured image.
  • the model manager 230 may reduce the weight of the object detection model generated as above and distribute it to the network camera 300 . Meanwhile, since the generation of the object detection model and the weight reduction of the model have been described in detail above, a description of the corresponding content will be omitted herein.
  • the detection result management unit 320 may include a result of detecting the object in the captured image regarding the object as described above, and a portion related to the captured image generated based on the detection result.
  • a function of transmitting an image to the server 200 may be performed.
  • the object detection unit 310 may include an image (eg, a bounding box in which the above object is detected) about an area in which an object is detected at a higher category level in the captured image. image cut along the boundary of , that is, a partial image may be generated. And, when a plurality of objects are detected in the captured image, the object detection unit 310 according to an embodiment of the present invention may generate a partial image for each of the plurality of detected objects.
  • the detection result management unit 320 may transmit the partial image generated as described above to the server.
  • the partial image above may mean only the partial image itself, but may also include information (eg, coordinates) about the position occupied by the partial image in the captured image. .
  • FIG. 4 is a diagram exemplarily illustrating a process of estimating information about an object according to an embodiment of the present invention.
  • the network camera 300 collects upper category information (eg, vehicle) of an object to be detected in a captured image.
  • the object may be detected from the captured image 410 of the object by using the object detection model learned to estimate ( 411 and 412 ).
  • the object detection unit 310 may generate partial images 420 and 430 of the captured image 410 based on a result of detecting a corresponding object.
  • the detection result management unit 320 may transmit the detection result and the partial images 420 and 430 above to the server 200 .
  • the object classifier 220 may estimate sub-category information of the above object by using an object classification model that is trained to estimate sub-category information (eg, sedan or truck) of the object from the partial image above. There are (420 and 450).
  • the embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention or may be known and used by those skilled in the computer software field.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • a hardware device may be converted into one or more software modules to perform processing in accordance with the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

According to an aspect of the present invention, provided is a method for estimating information regarding an object on the basis of images in a lower power wide area network (LPWAN) environment, the method comprising the steps of: obtaining, by using an object detection model trained to estimate upper category information about an object to be detected from a captured image, a result of detecting the object from the captured image of the object and a partial image of the captured image, which is generated on the basis of the detection result; and estimating, by using an object classification model trained to estimate lower category information about the object from the partial image of the captured image, the lower category information about the object on the basis of the obtained detection result and the partial image, wherein the detection result includes the upper category information about the object.

Description

LPWAN(LOW POWER WIDE AREA NETWORK) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체A method, system, and non-transitory computer-readable recording medium for estimating information about an object based on an image in an LPWAN (LOW POWER WIDE AREA NETWORK) environment
본 발명은 LPWAN(Low Power Wide Area Network) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.The present invention relates to a method, a system, and a non-transitory computer-readable recording medium for estimating information about an object based on an image in an LPWAN (Low Power Wide Area Network) environment.
근래에 들어, 인공 지능 관련 기술이 급격히 발전함에 따라 인공 지능을 이용하여 영상에서 객체를 검출하는 방법에 관한 다양한 기술들이 소개되고 있다.In recent years, with the rapid development of artificial intelligence-related technologies, various technologies for a method of detecting an object in an image using artificial intelligence have been introduced.
이에 관한 종래 기술의 일 예로서, 복수의 네트워크 카메라들에 의하여 획득되는 촬영 영상을 인공신경망 모델을 이용하여 분석함으로써, 위의 촬영 영상에서 특정 객체를 검출하는 기술을 예로 들 수 있는데, 이렇게 인공신경망을 이용하여 영상에서 객체를 검출하기 위해서는 상당히 많은 양의 연산이 처리되어야 하기 때문에, 고사양의 GPU(Graphic Processor Unit)를 포함한 컴퓨터 시스템을 갖추는 것이 일반적이다.As an example of the related art, a technique for detecting a specific object in the above captured image by analyzing a captured image obtained by a plurality of network cameras using an artificial neural network model can be exemplified. In order to detect an object from an image using
그리고, 복수의 네트워크 카메라들로부터 실시간으로 영상을 획득하고, 그 영상에서 특정 객체를 검출한 결과를 실시간으로 응답하여야 할 필요가 있는 경우에는, 이러한 컴퓨터 시스템의 구축 비용이 더 높아질 뿐만 아니라, 복수의 네트워크 카메라들과 위의 컴퓨터 시스템 사이에서 주고받는 데이터양도 많아지므로 통신 비용도 매우 높아지게 된다.And, when it is necessary to acquire an image from a plurality of network cameras in real time and to respond in real time to a result of detecting a specific object in the image, not only the construction cost of such a computer system increases, but also a plurality of Since the amount of data exchanged between the network cameras and the above computer system increases, the communication cost becomes very high.
최근에는 비용 절감을 위한 대안으로서, GPU를 경량화한 산업용 에지 컴퓨팅(edge computing) 솔루션들이 등장하고 있으나, 본래 많은 양의 연산을 처리하는 GPU의 특성상 간단한 임베디드 시스템에 비하여 많은 전력을 소모한다는 문제점이 있다.Recently, as an alternative to cost reduction, industrial edge computing solutions that lighten GPUs have emerged. .
또한, 최근에는 고사양의 GPU를 사용하는 대신에, 행렬곱 연산만을 가속화하는 기능을 탑재한 마이크로프로세서나 FPGA(Field Programmable Gate Array) 등을 임베디드 시스템에 내장함으로써 큰 전력 소모 없이 저렴한 비용으로 인공신경망 모델 기반의 객체 검출을 지원하려는 시도도 있다. 다만, 이러한 경우 소프트웨어인 인공신경망 모델이 위와 같은 특수한 하드웨어에 적합하게 변형 및 경량화되어야 할 뿐만 아니라, 그러한 변형 및 경량화로 인하여 인공신경망 모델의 성능이 저하된다는 문제점도 있다.In addition, recently, instead of using a high-end GPU, a microprocessor or FPGA (Field Programmable Gate Array) equipped with a function to accelerate only matrix multiplication is embedded in the embedded system, so that artificial neural network models can be modeled at low cost without consuming large amounts of power. There are also attempts to support object detection based on it. However, in this case, there is a problem that the artificial neural network model, which is software, needs to be deformed and lightened appropriately for the above special hardware, and the performance of the artificial neural network model is deteriorated due to such deformation and weight reduction.
한편, 최근에 각광받고 있는 에지 컴퓨팅, 온 디바이스(on-device) AI 등의 개념은 중앙 서버의 기능을 분산시킴으로써 중앙 서버의 부하를 줄이고, 통신망을 통하여 중앙 서버와 주고받는 데이터양을 줄임으로써 AI 모델의 응답 속도를 높이는 데에 그 목표가 있다. 특히, 통신 부하, 즉, 중앙 서버와 주고받는 데이터양을 줄이는 것은 AI 모델의 응답 속도를 높이는 것 외에 시스템 구축 비용을 줄이는 데에도 직접적인 영향을 미치는 요소이다.On the other hand, concepts such as edge computing and on-device AI, which have been in the spotlight recently, reduce the load on the central server by distributing the functions of the central server, and reduce the amount of data exchanged with the central server through the communication network. The goal is to increase the response speed of the model. In particular, reducing the communication load, that is, the amount of data exchanged with the central server, is a factor that directly affects the reduction of system construction cost in addition to increasing the response speed of AI models.
다만, 인공신경망 모델을 이용한 객체 검출 시스템을 구축함에 있어서, 시스템 구축 비용을 줄이기 위한 목적으로 고사양의 GPU 대신에 제한적인 연산 능력을 갖는 프로세서를 사용하고, 이더넷, Wi-Fi, LTE 등의 광대역 통신망 대신에 LPWAN(Low Power Wide Area Network)와 같이 대역폭이 제한적인 통신망을 사용(즉, 서버와 주고받는 데이터양을 최소화)하게 되면, 고사양의 GPU 및 광대역 통신망을 사용하는 경우에 비하여 인공신경망 모델의 성능이 저하될 가능성이 높다. 상술한 바와 같이, 인공신경망 모델 기반의 객체 검출에는 많은 연산의 처리가 요구되기 때문이다.However, in constructing an object detection system using an artificial neural network model, a processor with limited computing power is used instead of a high-spec GPU for the purpose of reducing the system construction cost, and a broadband network such as Ethernet, Wi-Fi, LTE, etc. Instead, if a bandwidth-limited communication network such as LPWAN (Low Power Wide Area Network) is used (that is, the amount of data exchanged with the server is minimized), the artificial neural network model will be better than when using a high-end GPU and broadband network. performance is likely to deteriorate. This is because, as described above, many calculations are required for object detection based on an artificial neural network model.
이에 본 발명자(들)는, 제한적인 연산 능력만을 갖는 네트워크 카메라 및 대역폭이 제한적인 LPWAN을 사용함으로써 저렴한 비용으로 인공신경망 모델을 이용한 객체 검출 시스템을 구축할 수 있도록 지원하면서, 그 인공신경망 모델의 성능(즉, 검출 속도 및 정확도)도 높게 유지할 수 있도록 지원하는 기술을 제안하는 바이다.Accordingly, the present inventor(s) supports the construction of an object detection system using an artificial neural network model at a low cost by using a network camera having only limited computing power and an LPWAN having a limited bandwidth, while supporting the performance of the artificial neural network model (ie, detection speed and accuracy) is also proposed to support a high level of support.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.An object of the present invention is to solve all of the problems of the prior art described above.
또한, 본 발명은, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 위의 객체에 관한 촬영 영상에서 위의 객체가 검출된 결과 및 위의 검출 결과에 기초하여 생성되는 위의 촬영 영상에 관한 부분 영상을 획득하고, 위의 촬영 영상에 관한 부분 영상으로부터 위의 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 이용하여, 위의 획득되는 검출 결과 및 위의 부분 영상에 기초하여 위의 객체의 하위 카테고리 정보를 추정하고, 위의 검출 결과에는 위의 객체의 상위 카테고리 정보가 포함되는 것을 다른 목적으로 한다.In addition, the present invention provides an object detection model that is learned to estimate upper category information of an object to be detected in a captured image, based on the detection result of the object in the captured image of the object and the detection result Obtaining the generated partial image of the captured image, and using the object classification model trained to estimate sub-category information of the object from the partial image regarding the captured image, the obtained detection result and the above Another purpose is to estimate sub-category information of the above object based on a partial image of , and to include upper-category information of the above object in the detection result.
또한, 본 발명은, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 위의 객체에 관한 촬영 영상에서 위의 객체를 검출하고, 위의 검출 결과 및 위의 검출 결과에 기초하여 생성되는 위의 촬영 영상에 관한 부분 영상을 서버에 전송하고, 위의 검출 결과에는 위의 객체의 상위 카테고리 정보가 포함되는 것을 또 다른 목적으로 한다.In addition, the present invention detects the above object in the captured image of the above object using an object detection model that is learned to estimate upper category information of the object to be detected in the captured image, and the detection result and the above detection Another purpose is to transmit a partial image related to the above captured image generated based on the result to the server, and to include upper category information of the above object in the above detection result.
또한, 본 발명은, 저렴한 비용으로 인공신경망 모델을 이용한 객체 검출 시스템을 구축할 수 있도록 지원하면서, 그 인공신경망 모델의 성능도 높게 유지할 수 있도록 지원하는 것을 또 다른 목적으로 한다.Another object of the present invention is to support the construction of an object detection system using an artificial neural network model at a low cost while maintaining high performance of the artificial neural network model.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.A representative configuration of the present invention for achieving the above object is as follows.
본 발명의 일 태양에 따르면, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 상기 객체에 관한 촬영 영상에서 상기 객체가 검출된 결과 및 상기 검출 결과에 기초하여 생성되는 상기 촬영 영상에 관한 부분 영상을 획득하는 단계, 및 상기 촬영 영상에 관한 부분 영상으로부터 상기 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 이용하여, 상기 획득되는 검출 결과 및 상기 부분 영상에 기초하여 상기 객체의 하위 카테고리 정보를 추정하는 단계를 포함하고, 상기 검출 결과에는 상기 객체의 상위 카테고리 정보가 포함되는 방법이 제공된다.According to an aspect of the present invention, an object detection model is trained to estimate upper category information of an object to be detected in the captured image, and the object is detected in the captured image of the object and generated based on the detection result obtaining a partial image related to the captured image, and using an object classification model trained to estimate sub-category information of the object from the partial image regarding the captured image and estimating lower category information of the object based on the method, wherein the detection result includes upper category information of the object.
본 발명의 다른 태양에 따르면, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 상기 객체에 관한 촬영 영상에서 상기 객체를 검출하는 단계, 및 상기 검출 결과 및 상기 검출 결과에 기초하여 생성되는 상기 촬영 영상에 관한 부분 영상을 서버에 전송하는 단계를 포함하고, 상기 검출 결과에는 상기 객체의 상위 카테고리 정보가 포함되는 방법이 제공된다.According to another aspect of the present invention, detecting the object in a captured image of the object using an object detection model trained to estimate upper category information of the object to be detected in the captured image, and the detection result and the detection There is provided a method comprising transmitting a partial image related to the captured image generated based on a result to a server, wherein the detection result includes upper category information of the object.
본 발명의 또 다른 태양에 따르면, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 상기 객체에 관한 촬영 영상에서 상기 객체가 검출된 결과 및 상기 검출 결과에 기초하여 생성되는 상기 촬영 영상에 관한 부분 영상을 획득하는 검출 결과 획득부, 및 상기 촬영 영상에 관한 부분 영상으로부터 상기 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 이용하여, 상기 획득되는 검출 결과 및 상기 부분 영상에 기초하여 상기 객체의 하위 카테고리 정보를 추정하는 객체 분류부를 포함하고, 상기 검출 결과에는 상기 객체의 상위 카테고리 정보가 포함되는 시스템이 제공된다.According to another aspect of the present invention, based on a result of detecting the object in a captured image of the object and the detection result using an object detection model that is learned to estimate upper category information of an object to be detected in the captured image The obtained detection result and There is provided a system comprising an object classifier for estimating lower category information of the object based on the partial image, and the detection result includes upper category information of the object.
본 발명의 또 다른 태양에 따르면, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 상기 객체에 관한 촬영 영상에서 상기 객체를 검출하는 객체 검출부, 및 상기 검출 결과 및 상기 검출 결과에 기초하여 생성되는 상기 촬영 영상에 관한 부분 영상을 서버에 전송하는 검출 결과 관리부를 포함하고, 상기 검출 결과에는 상기 객체의 상위 카테고리 정보가 포함되는 시스템이 제공된다.According to another aspect of the present invention, an object detection unit for detecting the object from a captured image of the object by using an object detection model trained to estimate upper category information of an object to be detected from the captured image, and the detection result and A system is provided, comprising: a detection result management unit configured to transmit a partial image related to the captured image generated based on the detection result to a server, wherein the detection result includes upper category information of the object.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition to this, another method for implementing the present invention, another system, and a non-transitory computer-readable recording medium for recording a computer program for executing the method are further provided.
본 발명에 의하면, 저렴한 비용으로 인공신경망 모델을 이용한 객체 검출 시스템을 구축할 수 있도록 지원하면서, 그 인공신경망 모델의 성능도 높게 유지할 수 있도록 지원할 수 있게 된다.According to the present invention, it is possible to support the construction of an object detection system using an artificial neural network model at a low cost while maintaining the performance of the artificial neural network model high.
도 1은 본 발명의 일 실시예에 따라 LPWAN 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a diagram illustrating a schematic configuration of an entire system for estimating information about an object based on an image in an LPWAN environment according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 서버의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram illustrating in detail an internal configuration of a server according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 네트워크 카메라의 내부 구성을 상세하게 도시하는 도면이다.3 is a diagram illustrating in detail an internal configuration of a network camera according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따라 객체에 관한 정보를 추정하는 과정을 예시적으로 나타내는 도면이다.4 is a diagram exemplarily illustrating a process of estimating information about an object according to an embodiment of the present invention.
<부호의 설명><Explanation of code>
100: 통신망100: communication network
200: 서버200: server
210: 검출 결과 획득부210: detection result acquisition unit
220: 객체 분류부220: object classification unit
230: 모델 관리부230: model management unit
300: 네트워크 카메라300: network camera
310: 객체 검출부310: object detection unit
320: 검출 결과 관리부320: detection result management unit
240, 330: 통신부240, 330: communication department
250, 340: 제어부250, 340: control unit
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented with changes from one embodiment to another without departing from the spirit and scope of the present invention. In addition, it should be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be taken as encompassing the scope of the claims and all equivalents thereto. In the drawings, like reference numerals refer to the same or similar elements throughout the various aspects.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily practice the present invention.
전체 시스템의 구성Whole system configuration
도 1은 본 발명의 일 실시예에 따라 LPWAN 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a diagram illustrating a schematic configuration of an entire system for estimating information about an object based on an image in an LPWAN environment according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 LPWAN(100), 서버(200) 및 네트워크 카메라(300)를 포함할 수 있다.As shown in FIG. 1 , the entire system according to an embodiment of the present invention may include an LPWAN 100 , a server 200 , and a network camera 300 .
먼저, 본 발명의 일 실시예에 따른 LPWAN(Low Power Wide Area Network; 100)은 서비스 범위가 10km 이상으로 매우 넓고, 초당 수백 킬로비트(kbps)의 통신 속도를 제공하는 저전력의 무선 광역 통신망을 의미한다. 이러한 LPWAN(100)에는 로라완(LoRaWAN), 시그폭스(SIGFOX), 엘티이-엠티시(LTE-MTC), 협대역 사물 인터넷(NB-IoT) 등이 포함되며, 특히, 로라완(LoRaWAN)은, Wi-Fi, Bluetooth, Zigbee 등 기존의 근거리 무선 통신보다 통신 속도는 느리지만, 개활지에서는 약 30km, 도심에서는 약 1km의 장거리 통신이 가능한 특징이 있다.First, LPWAN (Low Power Wide Area Network; 100) according to an embodiment of the present invention means a low-power wireless wide area network that has a very wide service range of 10 km or more and provides a communication speed of several hundred kilobits per second (kbps) do. Such LPWAN 100 includes LoRaWAN, SIGFOX, LTE-MTC, Narrowband Internet of Things (NB-IoT), and the like, and in particular, LoRaWAN Although the communication speed is slower than the existing short-distance wireless communication such as silver, Wi-Fi, Bluetooth, and Zigbee, long-distance communication of about 30 km in open areas and about 1 km in the city center is possible.
다음으로, 본 발명의 일 실시예에 따른 서버(200)는 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 위의 객체에 관한 촬영 영상에서 위의 객체가 검출된 결과 및 위의 검출 결과에 기초하여 생성되는 위의 촬영 영상에 관한 부분 영상을 획득하고, 위의 촬영 영상에 관한 부분 영상으로부터 위의 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 이용하여, 위의 획득되는 검출 결과 및 위의 부분 영상에 기초하여 위의 객체의 하위 카테고리 정보를 추정하는 기능을 수행할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 위의 검출 결과에는 위의 객체의 상위 카테고리 정보가 포함될 수 있다.Next, the server 200 according to an embodiment of the present invention detects the above object in the captured image of the above object using an object detection model that is learned to estimate upper category information of the object to be detected in the captured image. Using an object classification model that is trained to acquire a partial image of the captured image generated based on the obtained result and the detection result above, and estimate sub-category information of the object from the partial image regarding the captured image Accordingly, it is possible to perform a function of estimating sub-category information of the above object based on the obtained detection result and the above partial image. Here, according to an embodiment of the present invention, the above detection result may include upper category information of the above object.
다음으로, 본 발명의 일 실시예에 따른 네트워크 카메라(300)는 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 위의 객체에 관한 촬영 영상에서 위의 객체를 검출하고, 위의 검출 결과 및 위의 검출 결과에 기초하여 생성되는 위의 촬영 영상에 관한 부분 영상을 서버에 전송하는 기능을 수행할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 위의 검출 결과에는 위의 객체의 상위 카테고리 정보가 포함될 수 있다.Next, the network camera 300 according to an embodiment of the present invention detects the above object in the captured image of the above object using an object detection model that is learned to estimate upper category information of the object to be detected in the captured image. Detect and transmit the detection result and the partial image related to the captured image generated based on the detection result to the server. Here, according to an embodiment of the present invention, the above detection result may include upper category information of the above object.
본 발명에 따른 서버(200) 및 네트워크 카메라(300)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다.The configuration and functions of the server 200 and the network camera 300 according to the present invention will be described in detail through the following detailed description.
한편, 본 발명의 일 실시예에 따른 네트워크 카메라(300)는 LPWAN 환경에서 서버(200)와 통신할 수 있는 기능 및 영상 촬영 기능을 포함하는 디지털 기기로서, 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 네트워크 카메라(300)로서 채택될 수 있다. 여기서, 본 발명의 일 실시예에 따른 네트워크 카메라(300)는, 네트워크 카메라 그 자체(예를 들면, 상용 보안 카메라)를 지칭하는 것일 수 있지만, 그와 유선 및/또는 무선으로 연결(또는 결합)될 수 있는 하드웨어 장치까지 포괄하여 지칭하는 것일 수도 있다.On the other hand, the network camera 300 according to an embodiment of the present invention is a digital device including a function capable of communicating with the server 200 and an image capturing function in an LPWAN environment, and is provided with a memory means and equipped with a microprocessor. Any digital device with computing capability may be employed as the network camera 300 according to the present invention. Here, the network camera 300 according to an embodiment of the present invention may refer to the network camera itself (eg, a commercial security camera), but is connected (or combined) with the network camera by wire and/or wirelessly. It may also refer to a hardware device that can be used inclusively.
한편, 서버(200) 및 네트워크 카메라(300)에는, 본 발명에 따른 LPWAN 환경에서 영상에 기초하여 객체에 관한 정보를 추정하는 기능을 지원하는 애플리케이션(미도시됨)이 포함될 수 있다. 이와 같은 애플리케이션은 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.Meanwhile, the server 200 and the network camera 300 may include an application (not shown) supporting a function of estimating information about an object based on an image in an LPWAN environment according to the present invention. Such an application may be downloaded from an external application distribution server (not shown). Here, at least a part of the application may be replaced with a hardware device or a firmware device capable of performing substantially the same or equivalent function as the application, if necessary.
서버의 구성server configuration
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 서버(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the server 200 that performs an important function for the implementation of the present invention and the function of each component will be described.
도 2는 본 발명의 일 실시예에 따른 서버(200)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram illustrating in detail the internal configuration of the server 200 according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 서버(200)는, 검출 결과 획득부(210), 객체 분류부(220), 모델 관리부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 검출 결과 획득부(210), 객체 분류부(220), 모델 관리부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 서버(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 서버(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.As shown in FIG. 2 , the server 200 according to an embodiment of the present invention includes a detection result acquisition unit 210 , an object classification unit 220 , a model management unit 230 , a communication unit 240 , and a control unit ( 250) may be included. According to an embodiment of the present invention, the detection result acquisition unit 210, the object classification unit 220, the model management unit 230, the communication unit 240, and the control unit 250, at least some of them are external systems (not shown) and may be a program module in communication with. Such a program module may be included in the server 200 in the form of an operating system, an application program module, or other program modules, and may be physically stored in various known storage devices. Also, such a program module may be stored in a remote storage device capable of communicating with the server 200 . Meanwhile, such a program module includes, but is not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention.
한편, 서버(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 서버(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시됨) 내에서 실현되거나 포함될 수도 있음은 당업자에게 자명하다.On the other hand, although described above with respect to the server 200, this description is exemplary, and at least some of the components or functions of the server 200 may be realized or included in an external system (not shown) as needed. is apparent to those skilled in the art.
먼저, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)는, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 위의 객체에 관한 촬영 영상에서 위의 객체가 검출된 결과 및 위의 검출 결과에 기초하여 생성되는 위의 촬영 영상에 관한 부분 영상을 획득하는 기능을 수행할 수 있다.First, the detection result acquisition unit 210 according to an embodiment of the present invention uses an object detection model that is learned to estimate upper category information of an object to be detected in a captured image, and is configured to It is possible to perform a function of acquiring a result of detecting an object and a partial image related to the above captured image generated based on the above detection result.
구체적으로, 본 발명의 일 실시예에 따른 객체 검출부(310)는, 위의 객체 검출 모델을 이용하여 객체에 관한 촬영 영상에서 위의 객체를 검출할 수 있고, 위의 객체가 검출된 결과에 기초하여 위의 촬영 영상에 관한 부분 영상을 생성할 수 있다. 그리고, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)는, LPWAN 환경에서 위의 검출 결과 및 위의 부분 영상을 획득할 수 있다.Specifically, the object detection unit 310 according to an embodiment of the present invention may detect the above object from a captured image of the object using the above object detection model, and based on the detection result of the above object Thus, it is possible to generate a partial image related to the above captured image. In addition, the detection result acquisition unit 210 according to an embodiment of the present invention may acquire the detection result and the partial image in the LPWAN environment.
보다 구체적으로, 본 발명의 일 실시예에 따르면, 위의 검출 결과에는, 촬영 영상에서 검출할 객체의 상위 카테고리 정보 및 그 검출을 수행한 네트워크 카메라(300)의 식별 정보가 포함될 수 있다. 즉, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)가 획득하는 검출 결과는, 네트워크 카메라(300)에 의하여 촬영 영상에서 검출할 객체가 상위 카테고리 수준에서 검출된 결과를 의미할 수 있다. 그리고, 본 발명의 일 실시예에 따르면, 위의 상위 카테고리 정보는, 사용자에 의하여 선택되는 객체, 즉, 촬영 영상에서 검출할 객체의 둘 이상의 하위 카테고리 정보와 연관될 수 있다.More specifically, according to an embodiment of the present invention, the above detection result may include upper category information of an object to be detected in a captured image and identification information of the network camera 300 that has performed the detection. That is, the detection result obtained by the detection result obtaining unit 210 according to an embodiment of the present invention may mean a result of detecting an object to be detected in the captured image by the network camera 300 at a higher category level. . And, according to an embodiment of the present invention, the upper category information may be associated with two or more lower category information of an object selected by a user, that is, an object to be detected in a captured image.
예를 들어, 본 발명의 일 실시예에 따르면, 촬영 영상에서 검출할 객체의 하위 카테고리 정보로서, 사용자에 의하여 '버스'와 '트럭'이 선택된 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)는, 위의 객체의 상위 카테고리 정보를 '차량'으로 결정하거나, 위의 사용자가 위의 하위 카테고리 정보와 연관되는 상위 카테고리 정보로서, '차량', '대형 차량' 등을 선택할 수 있도록 위의 사용자에게 적절한 정보를 제공할 수 있다.For example, according to an embodiment of the present invention, it may be assumed that 'bus' and 'truck' are selected by a user as sub-category information of an object to be detected in a captured image. In this case, the detection result acquisition unit 210 according to an embodiment of the present invention determines the upper category information of the above object as 'vehicle', or the user above determines the upper category information associated with the lower category information. As the information, appropriate information may be provided to the above user so that they can select 'vehicle', 'large vehicle', and the like.
다른 예를 들어, 본 발명의 일 실시예에 따르면, 촬영 영상에서 검출할 객체의 상위 카테고리 정보로서, 사용자에 의하여 '사람'이 선택된 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)는, 위의 객체의 하위 카테고리 정보를 '어른' 및 '어린이'로 결정하거나, 위의 사용자가 위의 상위 카테고리 정보와 연관되는 하위 카테고리 정보로서, '어른', '어린이', '남자', '여자' 등을 선택할 수 있도록 위의 사용자에게 적절한 정보를 제공할 수 있다.For another example, according to an embodiment of the present invention, it may be assumed that 'person' is selected by a user as upper category information of an object to be detected in a captured image. In this case, the detection result acquisition unit 210 according to an embodiment of the present invention determines the sub-category information of the object as 'adult' and 'child', or the user As related sub-category information, appropriate information may be provided to the above user so that 'adult', 'child', 'man', 'female', etc. can be selected.
다만, 본 발명의 일 실시예에 따른 객체의 상위 카테고리 정보 및 하위 카테고리 정보의 종류 및 해당 정보들을 결정하는 방식은 위에서 설명된 것에 한정되지 않으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.However, the types of upper category information and lower category information of an object and a method of determining corresponding information according to an embodiment of the present invention are not limited to those described above, and may vary within the scope capable of achieving the object of the present invention. can be changed to
계속하면, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)가 획득하는 촬영 영상에 관한 부분 영상은, 위의 촬영 영상에서 객체가 검출된 영역에 관한 영상(예를 들면, 위의 객체가 검출된 바운딩 박스(bounding box)의 경계에 따라 잘라낸 영상)을 의미할 수 있다. 그리고, 촬영 영상에서 복수의 객체가 검출되는 경우에는, 본 발명의 일 실시예에 따른 객체 검출부(310)는, 그 검출되는 복수의 객체 각각에 대하여 부분 영상을 생성할 수 있다. 그리고, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)는, 위의 각각 생성되는 부분 영상을 획득할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 위의 부분 영상은 해당 부분 영상 자체만을 의미할 수 있지만, 촬영 영상에서 해당 부분 영상이 차지하는 위치에 관한 정보(예를 들면, 좌표)까지 포함할 수도 있다. 본 발명의 일 실시예에 따른 검출 결과 획득부(210)는, 위와 같이 네트워크 카메라(300)에 의하여 촬영되는 객체에 관한 촬영 영상 전체가 아닌 해당 촬영 영상에 관한 부분 영상만을 획득하게 되므로, LPWAN와 같이 대역폭이 제한되는 통신 환경에서도 객체 검출 시스템이 안정적으로 운영되도록 할 수 있다.Continuing, the partial image related to the captured image obtained by the detection result obtaining unit 210 according to an embodiment of the present invention is an image related to a region in which an object is detected in the captured image (eg, the above object). may mean an image cut along the boundary of a detected bounding box). And, when a plurality of objects are detected in the captured image, the object detection unit 310 according to an embodiment of the present invention may generate a partial image for each of the plurality of detected objects. In addition, the detection result acquisition unit 210 according to an embodiment of the present invention may acquire the respective generated partial images. Meanwhile, according to an embodiment of the present invention, the partial image above may mean only the partial image itself, but may also include information (eg, coordinates) about the position occupied by the partial image in the captured image. . Since the detection result acquisition unit 210 according to an embodiment of the present invention acquires only a partial image of the captured image, not the entire captured image of the object captured by the network camera 300 as described above, the LPWAN and Even in a communication environment where bandwidth is limited, the object detection system can be operated stably.
한편, 본 발명의 일 실시예에 따른 객체 검출부(310)에서 이용되는 객체 검출 모델은, 서버(200)에서 생성되는 객체 검출 모델이 경량화되어 배포된 것일 수 있다.On the other hand, the object detection model used in the object detection unit 310 according to an embodiment of the present invention may be distributed by reducing the weight of the object detection model generated by the server 200 .
구체적으로, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 생성할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 객체 검출 모델을 생성함에 있어서 사용되는 촬영 영상에서 검출할 객체에 관한 학습 데이터는, 위의 객체에 관한 촬영 영상 및 그 촬영 영상에 관한 라벨링 데이터로서 위의 촬영 영상에서 위의 객체가 위치하는 영역에 관한 정보와 위의 객체의 상위 카테고리 정보를 포함할 수 있다. 즉, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 위의 객체 검출 모델이 위의 객체의 하위 카테고리 정보가 아닌 상위 카테고리 정보를 추정하도록 위의 객체 검출 모델을 학습시킬 수 있다. 그리고, 이에 따라, 위의 객체 검출 모델은 검출해야 하는 객체의 종류가 줄어들게 되므로, 하위 카테고리 정보를 추정하는 경우에 비하여 더 적은 양의 연산을 처리하면서도 더 높은 정확도로 객체를 검출할 수 있다.Specifically, the model manager 230 according to an embodiment of the present invention may generate an object detection model that is learned to estimate upper category information of an object to be detected from a captured image. According to an embodiment of the present invention, the learning data on the object to be detected in the photographed image used in generating such an object detection model is the photographed image about the object and the labeling data about the photographed image. It may include information about an area in which the above object is located in the image and information on the upper category of the above object. That is, the model manager 230 according to an embodiment of the present invention may train the object detection model so that the object detection model estimates upper category information instead of lower category information of the object. Also, in the object detection model, the types of objects to be detected are reduced, and thus, an object can be detected with higher accuracy while processing a smaller amount of calculations compared to the case of estimating sub-category information.
계속하면, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 위와 같이 생성되는 객체 검출 모델을 경량화하여 네트워크 카메라(300)에 배포할 수 있다.Continuing, the model manager 230 according to an embodiment of the present invention may reduce the weight of the object detection model generated as described above and distribute it to the network camera 300 .
보다 구체적으로, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 생성하고, 가지치기(Pruning), 양자화(Quantization), 지식 증류(Knowledge Distillation) 등의 인공신경망 모델 경량화 알고리즘을 사용하여 그 생성된 모델을 경량화할 수 있다. 그리고, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 서버(200)에 비하여 연산 능력이 떨어지는 네트워크 카메라(300)에서도 원활한 이용이 가능하도록 하기 위하여, 위와 같이 경량화된 모델을 본 발명의 일 실시예에 따른 객체 검출부(310)가 이용하는 객체 검출 모델로서 네트워크 카메라(300)에 배포할 수 있다. 다만, 본 발명의 일 실시예에 따른 경량화 알고리즘은 위의 열거된 것에 한정되지 않으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.More specifically, the model manager 230 according to an embodiment of the present invention generates an object detection model that is learned to estimate upper category information of an object to be detected from a captured image, and performs pruning and quantization. ) and knowledge distillation, it is possible to reduce the weight of the generated model by using an artificial neural network model lightweight algorithm. And, the model management unit 230 according to an embodiment of the present invention, in order to enable smooth use even in the network camera 300, which has lower computing power compared to the server 200, a lightweight model as described above. As an object detection model used by the object detection unit 310 according to an embodiment, it may be distributed to the network camera 300 . However, the weight reduction algorithm according to an embodiment of the present invention is not limited to the ones listed above, and may be variously changed within a range that can achieve the object of the present invention.
한편, 본 발명의 일 실시예에 따른 객체 검출부(310)의 기능에 관하여 위에서 설명되지 않은 내용은 후술하기로 한다.Meanwhile, the functions not described above with respect to the function of the object detection unit 310 according to an embodiment of the present invention will be described later.
다음으로, 본 발명의 일 실시예에 따른 객체 분류부(220)는, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)에 의하여 획득되는 촬영 영상에 관한 부분 영상으로부터 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 이용하여, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)에 의하여 획득되는 검출 결과 및 위의 부분 영상에 기초하여 위의 객체의 하위 카테고리 정보를 추정하는 기능을 수행할 수 있다.Next, the object classifying unit 220 according to an embodiment of the present invention provides sub-category information of an object from a partial image related to a captured image obtained by the detection result acquiring unit 210 according to an embodiment of the present invention. Using an object classification model trained to estimate function can be performed.
구체적으로, 촬영 영상에 관한 부분 영상이 획득되면, 본 발명의 일 실시예에 따른 객체 분류부(220)는, 위의 부분 영상으로부터 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 이용하여, 본 발명의 일 실시예에 따른 객체 검출부(310)에 의하여 위의 촬영 영상에서 객체가 검출된 결과(구체적으로는, 위의 객체의 상위 카테고리 정보) 및 위의 부분 영상에 기초하여 위의 객체의 하위 카테고리 정보를 추정할 수 있다.Specifically, when a partial image related to a captured image is obtained, the object classifier 220 according to an embodiment of the present invention uses an object classification model that is learned to estimate sub-category information of an object from the partial image. , the above object based on the result of detecting the object in the above captured image by the object detection unit 310 according to an embodiment of the present invention (specifically, upper category information of the above object) and the above partial image of subcategory information can be estimated.
보다 구체적으로, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 위의 부분 영상으로부터 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 생성할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 객체 분류 모델을 생성함에 있어서 사용되는 객체에 관한 학습 데이터는, 위의 객체에 관한 촬영 영상에서 위의 객체가 검출된 영역에 관한 영상, 즉, 부분 영상 및 그 부분 영상에 관한 라벨링 데이터로서 위의 객체의 하위 카테고리 정보를 포함할 수 있다. 즉, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 사용자에 의하여 선택되는 위의 객체의 둘 이상의 하위 카테고리 정보를 추정하도록 위의 객체 검출 모델을 학습시킬 수 있다. 촬영 영상에서 검출할 객체를 구체적으로 분류하는 기능은 많은 양의 연산을 처리할 필요가 있는데, 본 발명의 일 실시예에 따르면, 이러한 기능을 위에서 설명한 바와 같이 네트워크 카메라(300)에 비하여 연산 능력이 높은 서버(200)에서 수행되도록 함으로써 네트워크 카메라(300)의 연산 부담을 줄일 수 있게 된다.More specifically, the model manager 230 according to an embodiment of the present invention may generate an object classification model that is learned to estimate sub-category information of an object from the partial image above. According to an embodiment of the present invention, the learning data on the object used in generating such an object classification model is an image about a region in which the object is detected in a captured image of the object, that is, a partial image and As labeling data regarding the partial image, sub-category information of the above object may be included. That is, the model manager 230 according to an embodiment of the present invention may train the object detection model to estimate information on two or more subcategories of the object selected by the user. A function of specifically classifying an object to be detected in a captured image requires processing a large amount of calculation. According to an embodiment of the present invention, as described above, this function has a lower computing power than the network camera 300 as described above. It is possible to reduce the computational burden of the network camera 300 by performing the operation in the high server 200 .
다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 검출 결과 획득부(210), 객체 분류부(220) 및 모델 관리부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.Next, the communication unit 240 according to an embodiment of the present invention performs a function of enabling data transmission/reception to/from the detection result acquisition unit 210 , the object classification unit 220 , and the model management unit 230 . can
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 검출 결과 획득부(210), 객체 분류부(220), 모델 관리부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(250)는 서버(200)의 외부로부터의/로의 데이터 흐름 또는 서버(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 검출 결과 획득부(210), 객체 분류부(220), 모델 관리부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the control unit 250 according to an embodiment of the present invention functions to control the flow of data between the detection result acquisition unit 210 , the object classification unit 220 , the model management unit 230 , and the communication unit 240 . can be done That is, the control unit 250 according to the present invention controls the data flow to/from the outside of the server 200 or the data flow between each component of the server 200, so that the detection result obtaining unit 210, the object classifying unit 220 , the model management unit 230 , and the communication unit 240 may be controlled to perform their own functions, respectively.
네트워크 카메라의 구성Network camera configuration
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 네트워크 카메라(300)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the network camera 300 that performs an important function for the implementation of the present invention and the function of each component will be described.
도 3은 본 발명의 일 실시예에 따른 네트워크 카메라(300)의 내부 구성을 상세하게 도시하는 도면이다.3 is a diagram illustrating in detail an internal configuration of a network camera 300 according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 네트워크 카메라(300)는, 객체 검출부(310), 검출 결과 관리부(320), 통신부(330) 및 제어부(340)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 객체 검출부(310), 검출 결과 관리부(320), 통신부(330) 및 제어부(340)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 네트워크 카메라(300)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 네트워크 카메라(300)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.As shown in FIG. 3 , a network camera 300 according to an embodiment of the present invention may be configured to include an object detection unit 310 , a detection result management unit 320 , a communication unit 330 , and a control unit 340 . can According to an embodiment of the present invention, the object detection unit 310, the detection result management unit 320, the communication unit 330, and the control unit 340 are program modules in which at least some of them communicate with an external system (not shown). can be Such a program module may be included in the network camera 300 in the form of an operating system, an application program module, or other program module, and may be physically stored in various known storage devices. Also, such a program module may be stored in a remote storage device capable of communicating with the network camera 300 . Meanwhile, such a program module includes, but is not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention.
한편, 네트워크 카메라(300)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 네트워크 카메라(300)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시됨) 내에서 실현되거나 포함될 수도 있음은 당업자에게 자명하다.On the other hand, although described above with respect to the network camera 300, this description is exemplary, and at least some of the components or functions of the network camera 300 may be realized or included in an external system (not shown) as needed. It will be apparent to those skilled in the art that this may be the case.
먼저, 본 발명의 일 실시예에 따른 객체 검출부(310)는, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 위의 객체에 관한 촬영 영상에서 위의 객체를 검출하는 기능을 수행할 수 있다.First, the object detection unit 310 according to an embodiment of the present invention detects the object in the captured image of the object by using the object detection model that is learned to estimate upper category information of the object to be detected in the captured image. The detection function can be performed.
구체적으로, 본 발명의 일 실시예에 따른 객체 검출부(310)는, 위의 객체 검출 모델을 이용하여 객체에 관한 촬영 영상에서 위의 객체를 검출할 수 있고, 위의 검출 결과에는, 위의 검출된 객체의 상위 카테고리 정보 및 그 검출을 수행한 네트워크 카메라(300)의 식별 정보가 포함될 수 있다.Specifically, the object detection unit 310 according to an embodiment of the present invention may detect the above object from a photographed image of the object by using the above object detection model, and the above detection result is The upper category information of the object and identification information of the network camera 300 that has performed the detection may be included.
계속하면, 본 발명의 일 실시예에 따른 객체 검출부(310)가 위와 같이 촬영 영상에서 상위 카테고리 수준으로 객체를 검출함에 있어서 이용하는 객체 검출 모델은, R-CNN(Region-based Convolutional Neural Networks), YOLO(You Only Look Once), SSD(Single Shot multibox Detector) 등의 인공신경망 기반의 객체 인식 모델에 기초하여 생성된 것일 수 있다. 다만, 본 발명의 일 실시예에 따른 인공신경망 기반의 객체 인식 모델은 위의 열거된 것에 한정되지 않으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.Continuing, the object detection model used by the object detection unit 310 according to an embodiment of the present invention to detect an object at a higher category level in the captured image as described above is R-CNN (Region-based Convolutional Neural Networks), YOLO (You Only Look Once) or SSD (Single Shot Multibox Detector) may be generated based on an object recognition model based on an artificial neural network. However, the object recognition model based on the artificial neural network according to an embodiment of the present invention is not limited to the above-listed ones, and may be variously changed within the scope that can achieve the object of the present invention.
그리고, 본 발명의 일 실시예에 따르면, 촬영 영상에서 검출할 객체의 상위 카테고리 정보는, 사용자에 의하여 선택되는 객체, 즉, 촬영 영상에서 검출할 객체의 둘 이상의 하위 카테고리 정보와 연관될 수 있다. 한편, 위의 상위 카테고리 정보 및 하위 카테고리 정보에 관하여는 위에서 자세히 설명하였으므로, 여기에서는 해당 내용의 설명을 생략하기로 한다.And, according to an embodiment of the present invention, the upper category information of the object to be detected in the captured image may be associated with information on at least two lower categories of the object selected by the user, that is, the object to be detected in the captured image. Meanwhile, since the upper category information and the lower category information have been described in detail above, a description of the corresponding content will be omitted here.
한편, 본 발명의 일 실시예에 따른 객체 검출부(310)에서 이용되는 객체 검출 모델은, 서버(200)에서 생성되는 객체 검출 모델이 경량화되어 배포된 것일 수 있다.On the other hand, the object detection model used in the object detection unit 310 according to an embodiment of the present invention may be distributed by reducing the weight of the object detection model generated by the server 200 .
구체적으로, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 생성할 수 있다. 그리고, 본 발명의 일 실시예에 따른 모델 관리부(230)는, 위와 같이 생성되는 객체 검출 모델을 경량화하여 네트워크 카메라(300)에 배포할 수 있다. 한편, 위의 객체 검출 모델의 생성 및 그 모델의 경량화에 관하여는 위에서 자세히 설명하였으므로, 여기에서는 해당 내용의 설명을 생략하기로 한다.Specifically, the model manager 230 according to an embodiment of the present invention may generate an object detection model that is learned to estimate upper category information of an object to be detected from a captured image. In addition, the model manager 230 according to an embodiment of the present invention may reduce the weight of the object detection model generated as above and distribute it to the network camera 300 . Meanwhile, since the generation of the object detection model and the weight reduction of the model have been described in detail above, a description of the corresponding content will be omitted herein.
다음으로, 본 발명의 일 실시예에 따른 검출 결과 관리부(320)는, 위와 같이 객체에 관한 촬영 영상에서 위의 객체가 검출된 결과 및 그 검출 결과에 기초하여 생성되는 위의 촬영 영상에 관한 부분 영상을 서버(200)에 전송하는 기능을 수행할 수 있다.Next, the detection result management unit 320 according to an embodiment of the present invention may include a result of detecting the object in the captured image regarding the object as described above, and a portion related to the captured image generated based on the detection result. A function of transmitting an image to the server 200 may be performed.
구체적으로, 본 발명의 일 실시예에 따른 객체 검출부(310)는, 촬영 영상에서 객체가 상위 카테고리 수준으로 검출된 영역에 관한 영상(예를 들면, 위의 객체가 검출된 바운딩 박스(bounding box)의 경계에 따라 잘라낸 영상), 즉, 부분 영상을 생성할 수 있다. 그리고, 촬영 영상에서 복수의 객체가 검출되는 경우에는, 본 발명의 일 실시예에 따른 객체 검출부(310)는, 그 검출되는 복수의 객체 각각에 대하여 부분 영상을 생성할 수도 있다. 그리고, 본 발명의 일 실시예에 따른 검출 결과 관리부(320)는, 위와 같이 생성되는 부분 영상을 서버에 전송할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 위의 부분 영상은 해당 부분 영상 자체만을 의미할 수 있지만, 촬영 영상에서 해당 부분 영상이 차지하는 위치에 관한 정보(예를 들면, 좌표)까지 포함할 수도 있다.Specifically, the object detection unit 310 according to an embodiment of the present invention may include an image (eg, a bounding box in which the above object is detected) about an area in which an object is detected at a higher category level in the captured image. image cut along the boundary of , that is, a partial image may be generated. And, when a plurality of objects are detected in the captured image, the object detection unit 310 according to an embodiment of the present invention may generate a partial image for each of the plurality of detected objects. In addition, the detection result management unit 320 according to an embodiment of the present invention may transmit the partial image generated as described above to the server. Meanwhile, according to an embodiment of the present invention, the partial image above may mean only the partial image itself, but may also include information (eg, coordinates) about the position occupied by the partial image in the captured image. .
도 4는 본 발명의 일 실시예에 따라 객체에 관한 정보를 추정하는 과정을 예시적으로 나타내는 도면이다.4 is a diagram exemplarily illustrating a process of estimating information about an object according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일 실시예에 따르면, 네트워크 카메라(300; 구체적으로는, 객체 검출부(310))는, 촬영 영상에서 검출할 객체의 상위 카테고리 정보(예를 들면, 차량)를 추정하도록 학습되는 객체 검출 모델을 이용하여, 객체에 관한 촬영 영상(410)에서 해당 객체를 검출할 수 있다(411 및 412).Referring to FIG. 4 , according to an embodiment of the present invention, the network camera 300 (specifically, the object detection unit 310 ) collects upper category information (eg, vehicle) of an object to be detected in a captured image. The object may be detected from the captured image 410 of the object by using the object detection model learned to estimate ( 411 and 412 ).
계속하여 도 4를 참조하면, 본 발명의 일 실시예에 따른 객체 검출부(310)는 해당 객체가 검출된 결과에 기초하여 촬영 영상(410)에 관한 부분 영상(420 및 430)을 생성할 수 있다. 그리고, 본 발명의 일 실시예에 따른 검출 결과 관리부(320)는, 위의 검출 결과 및 위의 부분 영상(420 및 430)을 서버(200)에 전송할 수 있다.Continuing to refer to FIG. 4 , the object detection unit 310 according to an embodiment of the present invention may generate partial images 420 and 430 of the captured image 410 based on a result of detecting a corresponding object. . In addition, the detection result management unit 320 according to an embodiment of the present invention may transmit the detection result and the partial images 420 and 430 above to the server 200 .
계속하여 도 4를 참조하면, 본 발명의 일 실시예에 따른 검출 결과 획득부(210)가 위의 검출 결과 및 위의 부분 영상(420 및 430)을 획득하면, 본 발명의 일 실시예에 따른 객체 분류부(220)는, 위의 부분 영상으로부터 객체의 하위 카테고리 정보(예를 들면, 세단 또는 트럭)를 추정하도록 학습되는 객체 분류 모델을 이용하여, 위의 객체의 하위 카테고리 정보를 추정할 수 있다(420 및 450).Continuing to refer to FIG. 4 , when the detection result acquisition unit 210 according to an embodiment of the present invention acquires the detection result and the partial images 420 and 430 above, according to an embodiment of the present invention The object classifier 220 may estimate sub-category information of the above object by using an object classification model that is trained to estimate sub-category information (eg, sedan or truck) of the object from the partial image above. There are (420 and 450).
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention or may be known and used by those skilled in the computer software field. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. A hardware device may be converted into one or more software modules to perform processing in accordance with the present invention, and vice versa.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.In the above, the present invention has been described with reference to specific matters such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments, and the present invention is not limited to the above embodiments. Those of ordinary skill in the art to which the invention pertains can make various modifications and changes from these descriptions.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to

Claims (13)

  1. LPWAN(Low Power Wide Area Network) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 방법으로서,A method for estimating information about an object based on an image in an LPWAN (Low Power Wide Area Network) environment, the method comprising:
    촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 상기 객체에 관한 촬영 영상에서 상기 객체가 검출된 결과 및 상기 검출 결과에 기초하여 생성되는 상기 촬영 영상에 관한 부분 영상을 획득하는 단계, 및A result of detecting the object in the captured image of the object using an object detection model trained to estimate upper category information of an object to be detected from the captured image, and a partial image of the captured image generated based on the detection result obtaining, and
    상기 촬영 영상에 관한 부분 영상으로부터 상기 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 이용하여, 상기 획득되는 검출 결과 및 상기 부분 영상에 기초하여 상기 객체의 하위 카테고리 정보를 추정하는 단계를 포함하고,estimating sub-category information of the object based on the obtained detection result and the partial image using an object classification model trained to estimate sub-category information of the object from the partial image of the captured image do,
    상기 검출 결과에는 상기 객체의 상위 카테고리 정보가 포함되는The detection result includes upper category information of the object.
    방법.Way.
  2. 제1항에 있어서,According to claim 1,
    상기 상위 카테고리 정보는, 사용자에 의하여 선택되는 상기 객체의 둘 이상의 하위 카테고리 정보와 연관되는The upper-level category information is associated with two or more lower-level category information of the object selected by the user.
    방법.Way.
  3. 제1항 또는 제2항에 있어서,3. The method of claim 1 or 2,
    상기 객체 검출 모델은, 서버에서 생성되는 객체 검출 모델이 경량화되어 배포된 것인The object detection model is that the object detection model generated in the server is lightened and distributed
    방법.Way.
  4. LPWAN(Low Power Wide Area Network) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 방법으로서,A method for estimating information about an object based on an image in an LPWAN (Low Power Wide Area Network) environment, the method comprising:
    촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 상기 객체에 관한 촬영 영상에서 상기 객체를 검출하는 단계, 및detecting the object in the captured image of the object by using an object detection model that is trained to estimate upper category information of the object to be detected in the captured image; and
    상기 검출 결과 및 상기 검출 결과에 기초하여 생성되는 상기 촬영 영상에 관한 부분 영상을 서버에 전송하는 단계를 포함하고,Transmitting the detection result and the partial image related to the captured image generated based on the detection result to a server,
    상기 검출 결과에는 상기 객체의 상위 카테고리 정보가 포함되는The detection result includes upper category information of the object.
    방법.Way.
  5. 제4항에 있어서,5. The method of claim 4,
    상기 상위 카테고리 정보는, 사용자에 의하여 선택되는 상기 객체의 둘 이상의 하위 카테고리 정보와 연관되는The upper-level category information is associated with two or more lower-level category information of the object selected by the user.
    방법.Way.
  6. 제4항 또는 제5항에 있어서,6. The method according to claim 4 or 5,
    상기 객체 검출 모델은, 서버에서 생성되는 객체 검출 모델이 경량화되어 배포된 것인The object detection model is that the object detection model generated in the server is lightweight and distributed
    방법.Way.
  7. 제1항 내지 제6항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.A non-transitory computer-readable recording medium storing a computer program for executing the method according to any one of claims 1 to 6.
  8. LPWAN(Low Power Wide Area Network) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 시스템으로서,A system for estimating information about an object based on an image in an LPWAN (Low Power Wide Area Network) environment,
    촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 상기 객체에 관한 촬영 영상에서 상기 객체가 검출된 결과 및 상기 검출 결과에 기초하여 생성되는 상기 촬영 영상에 관한 부분 영상을 획득하는 검출 결과 획득부, 및A result of detecting the object in the captured image of the object using an object detection model trained to estimate upper category information of an object to be detected from the captured image, and a partial image of the captured image generated based on the detection result A detection result obtaining unit to obtain
    상기 촬영 영상에 관한 부분 영상으로부터 상기 객체의 하위 카테고리 정보를 추정하도록 학습되는 객체 분류 모델을 이용하여, 상기 획득되는 검출 결과 및 상기 부분 영상에 기초하여 상기 객체의 하위 카테고리 정보를 추정하는 객체 분류부를 포함하고,An object classification unit for estimating sub-category information of the object based on the obtained detection result and the partial image using an object classification model trained to estimate sub-category information of the object from the partial image of the captured image including,
    상기 검출 결과에는 상기 객체의 상위 카테고리 정보가 포함되는The detection result includes upper category information of the object.
    시스템.system.
  9. 제8항에 있어서,9. The method of claim 8,
    상기 상위 카테고리 정보는, 사용자에 의하여 선택되는 상기 객체의 둘 이상의 하위 카테고리 정보와 연관되는The upper-level category information is associated with two or more lower-level category information of the object selected by the user.
    시스템.system.
  10. 제8항 또는 제9항에 있어서,10. The method according to claim 8 or 9,
    상기 객체 검출 모델은, 서버에서 생성되는 객체 검출 모델이 경량화되어 배포된 것인The object detection model is that the object detection model generated in the server is lightweight and distributed
    시스템.system.
  11. LPWAN(Low Power Wide Area Network) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 시스템으로서,As a system for estimating information about an object based on an image in a Low Power Wide Area Network (LPWAN) environment,
    촬영 영상에서 검출할 객체의 상위 카테고리 정보를 추정하도록 학습되는 객체 검출 모델을 이용하여 상기 객체에 관한 촬영 영상에서 상기 객체를 검출하는 객체 검출부, 및an object detection unit that detects the object from the captured image of the object using an object detection model trained to estimate upper category information of the object to be detected from the captured image; and
    상기 검출 결과 및 상기 검출 결과에 기초하여 생성되는 상기 촬영 영상에 관한 부분 영상을 서버에 전송하는 검출 결과 관리부를 포함하고,and a detection result management unit that transmits the detection result and a partial image related to the captured image generated based on the detection result to a server,
    상기 검출 결과에는 상기 객체의 상위 카테고리 정보가 포함되는The detection result includes upper category information of the object.
    시스템.system.
  12. 제11항에 있어서,12. The method of claim 11,
    상기 상위 카테고리 정보는, 사용자에 의하여 선택되는 상기 객체의 둘 이상의 하위 카테고리 정보와 연관되는The upper category information is associated with two or more lower category information of the object selected by the user
    시스템.system.
  13. 제11항 또는 제12항에 있어서,13. The method of claim 11 or 12,
    상기 객체 검출 모델은, 서버에서 생성되는 객체 검출 모델이 경량화되어 배포된 것인The object detection model is that the object detection model generated in the server is distributed in light weight
    시스템.system.
PCT/KR2021/018927 2020-12-16 2021-12-14 Method, system, and non-transitory computer-readable recording medium for estimating information regarding object on basis of images in low power wide area network (lpwan) environment WO2022131733A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200176824A KR102597045B1 (en) 2020-12-16 2020-12-16 Method, system and non-transitory computer-readable recording medium for estimating information on objects based on image in lpwan environment
KR10-2020-0176824 2020-12-16

Publications (1)

Publication Number Publication Date
WO2022131733A1 true WO2022131733A1 (en) 2022-06-23

Family

ID=82059321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018927 WO2022131733A1 (en) 2020-12-16 2021-12-14 Method, system, and non-transitory computer-readable recording medium for estimating information regarding object on basis of images in low power wide area network (lpwan) environment

Country Status (2)

Country Link
KR (1) KR102597045B1 (en)
WO (1) WO2022131733A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732382B1 (en) * 2016-01-01 2017-05-24 차보영 The CPTED TOWER with CCTV for Crime Prevention and the CPTED system
KR101801846B1 (en) * 2015-08-26 2017-11-27 옴니어스 주식회사 Product search method and system
KR20190052785A (en) * 2017-11-09 2019-05-17 재단법인대구경북과학기술원 Method and apparatus for detecting object, and computer program for executing the method
KR20190122606A (en) * 2019-10-11 2019-10-30 엘지전자 주식회사 Apparatus and method for monitoring object in vehicle
KR20200046188A (en) * 2018-10-19 2020-05-07 삼성전자주식회사 An electronic device for reconstructing an artificial intelligence model and its control method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029751B1 (en) 2017-10-27 2019-10-08 (주)테크노니아 Sensor device able to monitor external environment based on sound or image and environment monitoring system comprsing the sensor device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101801846B1 (en) * 2015-08-26 2017-11-27 옴니어스 주식회사 Product search method and system
KR101732382B1 (en) * 2016-01-01 2017-05-24 차보영 The CPTED TOWER with CCTV for Crime Prevention and the CPTED system
KR20190052785A (en) * 2017-11-09 2019-05-17 재단법인대구경북과학기술원 Method and apparatus for detecting object, and computer program for executing the method
KR20200046188A (en) * 2018-10-19 2020-05-07 삼성전자주식회사 An electronic device for reconstructing an artificial intelligence model and its control method
KR20190122606A (en) * 2019-10-11 2019-10-30 엘지전자 주식회사 Apparatus and method for monitoring object in vehicle

Also Published As

Publication number Publication date
KR20220086403A (en) 2022-06-23
KR102597045B1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
WO2019156283A1 (en) Dynamic memory mapping for neural networks
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2022055099A1 (en) Anomaly detection method and device therefor
WO2021118041A1 (en) Method for distributing labeling work according to difficulty thereof and apparatus using same
WO2021107416A1 (en) Freight transport information management system using image analysis and blockchain
KR101963404B1 (en) Two-step optimized deep learning method, computer-readable medium having a program recorded therein for executing the same and deep learning system
CN111710177A (en) Intelligent traffic signal lamp networking cooperative optimization control system and control method
WO2021075772A1 (en) Object detection method and device using multiple area detection
WO2021153861A1 (en) Method for detecting multiple objects and apparatus therefor
WO2022039319A1 (en) Personal information de-identification method, verification method, and system
WO2023080455A1 (en) Method and apparatus for processing foot information
WO2018012855A1 (en) Hierarchical graph-based path searching method, and path searching method in internet of things environment, using same
WO2020111571A1 (en) Artificial intelligence-based severe delinquency detection device and method
WO2022131733A1 (en) Method, system, and non-transitory computer-readable recording medium for estimating information regarding object on basis of images in low power wide area network (lpwan) environment
WO2024101466A1 (en) Attribute-based missing person tracking apparatus and method
CN113139650A (en) Tuning method and computing device of deep learning model
WO2020101121A1 (en) Deep learning-based image analysis method, system, and portable terminal
WO2021112401A1 (en) Robot and method for controlling thereof
WO2022108127A1 (en) Method and system for searching for stored cctv image based on photographing space information
WO2022131404A1 (en) On-device-based data analysis system and method
WO2020175729A1 (en) Apparatus and method for detecting facial feature point by using gaussian feature point map and regression scheme
WO2022145712A1 (en) Method, device, and non-transitory computer-readable recording medium for analyzing visitor on basis of image in edge computing environment
CN114332694A (en) Elevator smoke identification method and system, terminal equipment and storage medium
WO2023095934A1 (en) Method and system for lightening head neural network of object detector
WO2021075701A1 (en) Method for detecting interaction and apparatus therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21907037

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21907037

Country of ref document: EP

Kind code of ref document: A1