WO2022107925A1 - 딥러닝 객체 검출 처리 장치 - Google Patents

딥러닝 객체 검출 처리 장치 Download PDF

Info

Publication number
WO2022107925A1
WO2022107925A1 PCT/KR2020/016464 KR2020016464W WO2022107925A1 WO 2022107925 A1 WO2022107925 A1 WO 2022107925A1 KR 2020016464 W KR2020016464 W KR 2020016464W WO 2022107925 A1 WO2022107925 A1 WO 2022107925A1
Authority
WO
WIPO (PCT)
Prior art keywords
bbs
deep learning
object detection
module
learning object
Prior art date
Application number
PCT/KR2020/016464
Other languages
English (en)
French (fr)
Inventor
이상설
최병호
장성준
박종희
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2022107925A1 publication Critical patent/WO2022107925A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to an artificial intelligence technology and a system on chip (SoC) to which it is applied, and more particularly, to a hardware acceleration device that detects an object at high speed through deep learning.
  • SoC system on chip
  • the conventional high-speed deep learning technology consists of a hardware accelerator that accelerates the neural network layer to extract an OFM (Output Feature Map), and software that processes the final OFM.
  • OFM Output Feature Map
  • the present invention has been devised to solve the above problems, and an object of the present invention is to provide a deep learning object detection processing apparatus capable of performing post-processing for BB (Bounding Box) showing high complexity at high speed. have.
  • a deep learning object detection apparatus includes: a first module for obtaining meta information of BBs (Bounding Boxes) detected as objects; a second module for selecting some of the BBs based on the obtained meta information; a third module for obtaining the selected BBs; a fourth module for obtaining candidate BBs; and a fifth module that determines final BBs by using the selected BBs and candidate BBs.
  • BBs Binary Boxes
  • the meta information may include class information and probability information. And, in the selection step, a predetermined number of BBs may be selected in the order of probability magnitude. Also, the predetermined number may be set by the user. Meanwhile, in the selection step, BBs greater than or equal to a set probability value may be selected.
  • BBs may be provided as an Output Feature Map (OFM) from a deep learning accelerator.
  • OFM Output Feature Map
  • NMS Non Maximum Suppression
  • a method for detecting a deep learning object includes: obtaining meta information of BBs (Bounding Boxes) detected as objects; selecting some of the BBs based on the obtained meta information; obtaining selected BBs; obtaining candidate BBs; and determining final BBs by using the selected BBs and candidate BBs.
  • BBs Binary Boxes
  • FIG. 1 is a view showing a deep learning object detection processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically showing data processed in the deep learning object detection processing apparatus of Figure 1;
  • FIG. 3 is a performance verification result of a deep learning object detection processing apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram provided to explain a deep learning object detection processing method according to another embodiment of the present invention.
  • a hardware structure capable of quickly processing a post-processing process is provided.
  • the deep learning object detection processing apparatus is configured to include a deep learning acceleration module 100 and a post-processing module 200 .
  • the deep learning acceleration module 100 detects an object in an input image and outputs object detection information.
  • the object detection information is an Output Feature Map (OFM) in which detected objects are represented by BBs (Bounding Boxes).
  • OFM Output Feature Map
  • the OFM output from the final layer of the deep learning acceleration module 100 in FIG. 1 is composed of 16 channels including BB coordinate information and 68 channels including BB meta information.
  • the post-processing module 200 selects significant BBs among BBs detected by the deep learning acceleration module 100 as final BBs.
  • the post-processing module 200 for performing such a function is a softmax module 210 , a rank sorting module 220 , a BB acquisition module 230 , a candidate BB acquisition module 240 , and a Non Maximum Suppression (NMS) module. 250 and a final BB output module 260 .
  • NMS Non Maximum Suppression
  • the softmax module 210 extracts/obtains meta information of BBs from the OFM output from the deep learning acceleration module 100 .
  • the meta information includes class information (classification information) and probability information.
  • the softmax module 210 obtains class information and probability information from a 50 ⁇ 250 ⁇ 68 OFM in a 50 ⁇ 250 ⁇ 84 OFM output from the deep learning acceleration module 100 .
  • the data processed in the deep learning object detection processing apparatus shown in FIG. 1 is schematically shown in FIG. As shown in the lower left and lower center of FIG. 2 , it can be confirmed that corresponding information is acquired from 68 channels (channels 0 to 67) among 84 channels of OFM.
  • the rank sorting module 220 sorts the BBs according to the size of the probability information obtained from the softmax module 210, and selects a predetermined number of BBs in the order of the probability size.
  • the number of BBs to be selected can be set by the user.
  • the user may set the probability of BBs instead of the number of BBs. In this case, only BBs whose probability is greater than or equal to the set value are selected.
  • the rank sorting module 220 stores information on the selected BBs in the key in order, and transmits the information to the BB acquisition module 230 .
  • the BB acquisition module 230 sequentially acquires the BBs stored in the key received from the rank sorting module 220 one by one. To this end, the BB acquisition module 230 extracts/obtains location information of BBs from the OFM output from the deep learning acceleration module 100 .
  • the location information includes the coordinates of the center of the BB, width and height.
  • the center coordinates (center X, center Y), width and height information are obtained in 16 channels (68 to 83 channels) among the OFM of 84 channels. However, it can be confirmed that only information about BBs stored in the key is extracted.
  • the candidate BB obtaining module 240 obtains the BBs obtained in the BB obtaining module 230 and the candidate BBs for performing a Non Maximum Suppression (NMS) operation, and all BBs included in the OFM become candidates.
  • NMS Non Maximum Suppression
  • all BBs included in the OFM are sequentially acquired one by one.
  • the NMS module 250 determines final BBs by performing an NMS operation on the selected BB obtained from the BB obtaining module 230 and the candidate BB obtained from the candidate BB obtaining module 240 .
  • the final BBs determined by the NMS module 250 are output through the final BB output module 260 .
  • the NMS operation is performed only 32*5000 times in the NMS module 250 .
  • the number of BBs to be extracted/acquired by the BB acquisition module 230 can be greatly reduced, and the remarkably reduced throughput of the BB acquisition module 230 can be confirmed through FIG. 3 .
  • FIG. 4 is a diagram provided to explain a deep learning object detection processing method according to another embodiment of the present invention.
  • the softmax module 210 of the post-processing module 200 obtains class information and probability information of BBs from the OFM output from the deep learning acceleration module 100 ( S310 ).
  • the rank sorting module 220 sorts the probability information obtained in step S310 according to the size, and selects a predetermined number of BBs in the order of the probability size (S320).
  • the BB acquisition module 230 sequentially acquires the BBs selected in step S320 one by one (S330), and the candidate BB acquisition module 240 acquires the candidate BBs (S340).
  • the NMS module 250 performs an NMS operation on the BB obtained in step S330 and the candidate BB obtained in step S340 to determine final BBs ( S350 ). Then, the final BB output module 260 outputs the final BBs determined in step S350 (S360).
  • the technical idea of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment.
  • the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be any data storage device readable by the computer and capable of storing data.
  • the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like.
  • the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

딥러닝 객체 검출 처리 장치가 제공된다. 본 발명의 실시예에 따른 딥러닝 객체 검출 장치는, 객체로 검출된 BB들의 메타 정보를 획득하고, 획득한 메타 정보를 기초로 BB들 중 일부를 선정하며, 선정된 BB들과 후보 BB들을 획득하여 최종 BB들을 결정한다. 이에 의해, 높은 복잡도를 보이는 BB에 대한 후처리의 계산 효율성을 극대화하여 초고속 처리를 가능하게 하면서도 성능의 열화가 거의 없게 되며, 소요되는 전력 소모를 획기적으로 줄일 수 있게 된다.

Description

딥러닝 객체 검출 처리 장치
본 발명은 인공지능 기술 및 이를 적용한 SoC(System on Chip)에 관한 것으로, 더욱 상세하게는 딥러닝으로 객체를 고속으로 검출하는 하드웨어 가속 장치에 관한 것이다.
종래의 고속 딥러닝 기술은 신경망 계층을 가속화하여 OFM(Output Feature Map)을 추출하는 하드웨어 가속기와 최종 OFM을 처리하는 소프트웨어로 구성되어 있다.
시스템의 실시간 목표를 달성하려면 하드웨어 및 소프트웨어 최적화를 필요로 하는데, 후처리는 프로세서의 능력에 따라 처리 시간이 오래 걸리게 되는 경우가 많다. 종래 기술은 실시간 목표를 달성하기 위해 신경망 또는 가속기 부분을 최적화하는 데만 집중되어 있다.
특히, 차량 내부의 시스템에 적용 가능한 후처리 과정을 포함하는 초경량 딥러닝 하드웨어 개발이 부족하며, 최종 연산된 결과를 차량용 제어 시스템과 연동을 위한 데이터 경량 기술도 부족한 상태이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 높은 복잡도를 보이는 BB(Bounding Box)에 대한 후처리를 초고속으로 연산할 수 있는 딥러닝 객체 검출 처리 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 딥러닝 객체 검출 장치는, 객체로 검출된 BB(Bounding Box)들의 메타 정보를 획득하는 제1 모듈; 획득한 메타 정보를 기초로, BB들 중 일부를 선정하는 제2 모듈; 선정된 BB들을 획득하는 제3 모듈; 후보 BB들을 획득하는 제4 모듈; 선정된 BB들과 후보 BB들을 이용하여, 최종 BB들을 결정하는 제5 모듈;을 포함한다.
메타 정보는, 클래스 정보와 확률 정보를 포함할 수 있다. 그리고, 선정 단계는, 확률 크기 순서로 소정 개수의 BB들을 선정할 수 있다. 또한, 소정 개수는, 사용자가 설정 가능할 수 있다. 한편, 선정 단계는, 설정된 확률 값 이상의 BB들을 선정할 수 있다.
BB들은, 딥러닝 가속기로부터 OFM(Output Feature Map)으로 제공받을 수 있다.
결정 단계는, NMS(Non Maximum Suppression)으로, 최종 BB들을 결정할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 딥러닝 객체 검출 방법은, 객체로 검출된 BB(Bounding Box)들의 메타 정보를 획득하는 단계; 획득한 메타 정보를 기초로, BB들 중 일부를 선정하는 단계; 선정된 BB들을 획득하는 단계; 후보 BB들을 획득하는 단계; 선정된 BB들과 후보 BB들을 이용하여, 최종 BB들을 결정하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 높은 복잡도를 보이는 BB에 대한 후처리의 계산 효율성을 극대화하여 초고속 처리를 가능하게 하면서도 성능의 열화가 거의 없게 된다.
또한, 본 발명의 실시예들에 따르면, BB의 후처리 연산을 극적으로 줄임으로 인해, 이에 소요되는 전력 소모를 획기적으로 줄일 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 객체 검출 처리 장치를 도시한 도면,
도 2는, 도 1의 딥러닝 객체 검출 처리 장치에서 처리되는 데이터를 도식적으로 나타낸 도면,
도 3은 본 발명의 실시예에 따른 딥러닝 객체 검출 처리 장치의 성능 검증 결과,
도 4는 본 발명의 다른 실시예에 따른 딥러닝 객체 검출 처리 방법의 설명에 제공되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
대부분의 딥러닝 처리 장치는 실시간 물체 감지 및 인식을 위한 하드웨어와 및 후처리를 통해 결과를 도출하기 위한 소프트웨어로 나뉘어 진다.
실시간성을 요구하는 어플리케이션에서는 실시간 영상 입력으로부터 저지연으로 최종 결과를 실시간으로 출력해야하는 경우에는 딥러닝 가속 시스템의 처리 속도 향상을 위하여 가속 로직을 고속/초병렬화 설계를 진행할 수밖에 없다.
만약, 후처리 과정이 어플리케이션 프로세서 상에서 소프트웨어로 개발하는 것보다 빠르게 하드웨어로 후처리가 가능하다면, 가속 하드웨어의 고속화 부담이 적어질 것이다.
이를 위해, 본 발명의 실시예에서는, 후처리 과정을 빠르게 처리할 수 있는 하드웨어 구조를 제시한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 객체 검출 처리 장치를 도시한 도면이다. 본 발명의 실시예에 따른 딥러닝 객체 검출 처리 장치는, 딥러닝 가속 모듈(100)과 후처리 모듈(200)을 포함하여 구성된다.
딥러닝 가속 모듈(100)은 입력 영상에서 객체를 검출하고, 객체 검출 정보를 출력한다. 객체 검출 정보는 검출된 객체들이 BB(Bounding Box)들로 나타나 있는 OFM(Output Feature Map)이다.
도 1에서 딥러닝 가속 모듈(100)의 최종 레이어에서 출력되는 OFM은 BB의 좌표 정보를 포함하는 16개의 채널과 BB의 메타 정보를 포함하는 68 개의 채널로 구성된 것으로 가정한다.
후처리 모듈(200)은 딥러닝 가속 모듈(100)에서 검출된 BB들 중 유의미한 BB들을 최종 BB들로 선정한다.
이와 같은 기능을 수행하는 후처리 모듈(200)은, 소프트맥스 모듈(210), 랭크 정렬 모듈(220), BB 획득 모듈(230), 후보 BB 획득 모듈(240), NMS(Non Maximum Suppression) 모듈(250) 및 최종 BB 출력 모듈(260)을 포함하여 구성된다.
소프트맥스 모듈(210)은 딥러닝 가속 모듈(100)에서 출력되는 OFM에서 BB들의 메타 정보를 추출/획득한다. 메타 정보에는 클래스 정보(분류 정보)와 확률 정보를 포함한다.
구체적으로, 소프트맥스 모듈(210)은 딥러닝 가속 모듈(100)에서 출력되는 50×25O×84 OFM에서 50×25O×68 OFM으로부터 클래스 정보와 확률 정보를 획득한다.
도 1에 도시된 딥러닝 객체 검출 처리 장치에서 처리되는 데이터를 도 2에 도식적으로 나타내었다. 도 2의 좌측 하부와 중앙 하부에 도시된 바에 따르면, 84 채널의 OFM 중 68 채널(0~67 채널)에서 해당 정보를 획득하는 것을 확인할 수 있다.
랭크 정렬 모듈(220)은 BB들을 소프트맥스 모듈(210)에서 획득된 확률 정보들을 크기에 따라 정렬하고, 확률 크기 순서로 소정 개수의 BB들을 선정한다. 선정할 BB의 개수는 사용자가 설정가능하다.
이와 다른 방식으로 사용자가 BB의 개수가 아닌 BB의 확률을 설정할 수도 있다. 이 경우는 확률이 설정 값 이상인 BB만을 선정하게 된다.
랭크 정렬 모듈(220)는 선정한 BB들에 대한 정보를 순서대로 키에 저장하여, BB 획득 모듈(230)로 전달한다.
도 2의 우측 하부에 도시된 바에 따르면, 획득된 클래스 정보와 확률 정보 중 일부 클래스 정보와 확률 정보가 선정되었으며, 이에 대한 정보를 키로 전달하는 것을 확인할 수 있다.
BB 획득 모듈(230)은 랭크 정렬 모듈(220)로부터 전달받은 키에 저장된 BB들을 하나씩 순차적으로 획득한다. 이를 위해, BB 획득 모듈(230)은 딥러닝 가속 모듈(100)에서 출력되는 OFM에서 BB들의 위치 정보를 추출/획득한다. 위치 정보에는 BB의 중심 좌표, 너비 및 높이가 포함된다.
도 2의 좌측 상부와 중앙 상부에 도시된 바에 따르면, 84 채널의 OFM 중 16 채널(68~83 채널)에서 중심 좌표(center X, center Y), 너비(width) 및 높이(hight) 정보를 획득하는데, 키에 저장된 BB들에 대한 정보만을 추출하는 것을 확인할 수 있다.
후보 BB 획득 모듈(240)은 BB 획득 모듈(230)에서 획득된 BB들과 NMS(Non Maximum Suppression) 연산을 수행할 후보 BB들을 획득하는데, OFM에 포함된 모든 BB들이 후보들이 된다.
이에 따라, 후보 BB 획득 모듈(240)에서는 OFM에 포함된 모든 BB들이 하나씩 순차적으로 획득된다.
NMS 모듈(250)은 BB 획득 모듈(230)에서 획득되는 선정된 BB와 후보 BB 획득 모듈(240)에서 획득되는 후보 BB에 대해 NMS 연산을 수행하여, 최종 BB들을 결정한다.
도 2의 우측 상부에 도시된 바에 따르면, 선별된 BB들 중 일부가 최종 BB들로 결정된 결과를 나타내었다. NMS 모듈(250)에서 결정된 최종 BB들을 최종 BB 출력 모듈(260)을 통해 출력된다.
NMS 모듈(250)에서 NMS 연산은 모든 BB들의 조합을 대상으로 수행되지 않는다. 즉, 도 2에 제시된 바와 같이, BB가 5000(=50*25*84)개 인 경우 NMS 연산은 5000*5000번 수행되는 것이 아님에 유념하여야 한다.
랭크 정렬 모듈(220)에 의해 5000개 중 32개만이 선정되었다고 가정하면, NMS 모듈(250)에서 NMS 연산은 32*5000번만 수행된다.
특히, BB 획득 모듈(230)에서 추출/획득하여야 하는 BB의 개수를 많이 줄일 수 있게 되는데, BB 획득 모듈(230)의 획기적으로 처리량 감소는 도 3을 통해 확인할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 딥러닝 객체 검출 처리 방법의 설명에 제공되는 도면이다.
객체 검출 처리를 위해, 먼저, 후처리 모듈(200)의 소프트맥스 모듈(210)은 딥러닝 가속 모듈(100)에서 출력되는 OFM에서 BB들의 클래스 정보와 확률 정보를 획득한다(S310).
다음, 랭크 정렬 모듈(220)은 S310단계에서 획득된 확률 정보들을 크기에 따라 정렬하고, 확률 크기 순서로 소정 개수의 BB들을 선정한다(S320).
그리고, BB 획득 모듈(230)은 S320단계에서 선정된 BB들을 하나씩 순차적으로 획득하고(S330), 후보 BB 획득 모듈(240)은 후보 BB들을 획득한다(S340).
이후, NMS 모듈(250)은 S330단계에서 획득되는 BB와 S340단계에서 획득되는 후보 BB에 대해 NMS 연산을 수행하여, 최종 BB들을 결정한다(S350). 그러면, 최종 BB 출력 모듈(260)이 S350단계에서 결정된 최종 BB들을 출력한다(S360).
지금까지, 딥러닝 객체 검출 처리 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는, 높은 복잡도를 보이는 Bounding Box의 초고속 연산을 위해 계산 효율성을 극대화 하면서도, 성능의 열화가 거의 없도록 하였으며, 이에 의해 가속기와 최종 결과를 도출하는 후처리 과정을 고속으로 처리가 가능하여 저전력 구동을 가능하게 하였다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 객체로 검출된 BB(Bounding Box)들의 메타 정보를 획득하는 제1 모듈;
    획득한 메타 정보를 기초로, BB들 중 일부를 선정하는 제2 모듈;
    선정된 BB들을 획득하는 제3 모듈;
    후보 BB들을 획득하는 제4 모듈;
    선정된 BB들과 후보 BB들을 이용하여, 최종 BB들을 결정하는 제5 모듈;을 포함하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
  2. 청구항 1에 있어서,
    메타 정보는,
    클래스 정보와 확률 정보를 포함하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
  3. 청구항 1에 있어서,
    선정 단계는,
    확률 크기 순서로 소정 개수의 BB들을 선정하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
  4. 청구항 3에 있어서,
    소정 개수는,
    사용자가 설정 가능한 것을 특징으로 하는 딥러닝 객체 검출 장치.
  5. 청구항 1에 있어서,
    선정 단계는,
    설정된 확률 값 이상의 BB들을 선정하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
  6. 청구항 1에 있어서,
    BB들은,
    딥러닝 가속기로부터 OFM(Output Feature Map)으로 제공받는 것을 특징으로 하는 딥러닝 객체 검출 장치.
  7. 청구항 1에 있어서,
    결정 단계는,
    NMS(Non Maximum Suppression)으로, 최종 BB들을 결정하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
  8. 객체로 검출된 BB(Bounding Box)들의 메타 정보를 획득하는 단계;
    획득한 메타 정보를 기초로, BB들 중 일부를 선정하는 단계;
    선정된 BB들을 획득하는 단계;
    후보 BB들을 획득하는 단계;
    선정된 BB들과 후보 BB들을 이용하여, 최종 BB들을 결정하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 객체 검출 방법.
PCT/KR2020/016464 2020-11-19 2020-11-20 딥러닝 객체 검출 처리 장치 WO2022107925A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200155059A KR20220068357A (ko) 2020-11-19 2020-11-19 딥러닝 객체 검출 처리 장치
KR10-2020-0155059 2020-11-19

Publications (1)

Publication Number Publication Date
WO2022107925A1 true WO2022107925A1 (ko) 2022-05-27

Family

ID=81709102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/016464 WO2022107925A1 (ko) 2020-11-19 2020-11-20 딥러닝 객체 검출 처리 장치

Country Status (2)

Country Link
KR (1) KR20220068357A (ko)
WO (1) WO2022107925A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230167995A (ko) 2022-06-03 2023-12-12 주식회사 엘지에너지솔루션 이송 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080904A (ko) * 2016-11-01 2019-07-08 스냅 인코포레이티드 이미지 내의 객체 검출을 위한 신경망
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
KR20200021626A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
KR102112859B1 (ko) * 2020-01-02 2020-05-19 셀렉트스타 주식회사 레이블링 작업을 위해 딥러닝 모델을 트레이닝하는 방법 및 그를 이용한 장치
KR20200075072A (ko) * 2018-12-07 2020-06-26 한국전자통신연구원 바운딩 박스를 시공간상으로 매칭하여 영상 내 객체를 검출하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080904A (ko) * 2016-11-01 2019-07-08 스냅 인코포레이티드 이미지 내의 객체 검출을 위한 신경망
KR20200021626A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 객체 검출 모델 트레이닝 장치 및 방법
KR20200075072A (ko) * 2018-12-07 2020-06-26 한국전자통신연구원 바운딩 박스를 시공간상으로 매칭하여 영상 내 객체를 검출하는 방법 및 장치
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
KR102112859B1 (ko) * 2020-01-02 2020-05-19 셀렉트스타 주식회사 레이블링 작업을 위해 딥러닝 모델을 트레이닝하는 방법 및 그를 이용한 장치

Also Published As

Publication number Publication date
KR20220068357A (ko) 2022-05-26

Similar Documents

Publication Publication Date Title
CN107851197B (zh) 自适应增强(AdaBoost)分类器中的高效决策树遍历
CN112085701B (zh) 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN113408472A (zh) 目标重识别模型的训练方法、目标重识别方法及装置
WO2022107925A1 (ko) 딥러닝 객체 검출 처리 장치
CN113343989A (zh) 一种基于前景选择域自适应的目标检测方法及系统
CN104966109A (zh) 医疗化验单图像分类方法及装置
CN112270384A (zh) 一种回环检测方法、装置及电子设备和存储介质
CN113177479B (zh) 图像分类方法、装置、电子设备及存储介质
WO2022097898A1 (ko) 악성코드 탐지모델 학습방법 및 악성코드 탐지방법
CN112487927B (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统
CN115147405A (zh) 一种快速新能源电池无损检测方法
WO2022107927A1 (ko) 고속 후처리가 가능한 딥러닝 장치
WO2018131729A1 (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
CN111783655A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN112949672A (zh) 商品识别方法、装置、设备以及计算机可读存储介质
WO2023095934A1 (ko) 객체 탐지기의 헤드 신경망 경량화 방법 및 시스템
WO2024111870A1 (ko) 영상-언어 정렬 모델에서 객체의 속성값을 이용한 이미지/텍스트 표현 벡터의 세분화된 표현 강화 방법
WO2022234985A1 (ko) 가상 부정 엣지 기반 유방향 네트워크 임베딩 방법 및 시스템
CN112580643B (zh) 一种基于深度学习的车牌识别方法、装置及存储介质
WO2023249184A1 (ko) 적대적 학습 시스템 및 적대적 학습 방법
CN106446902A (zh) 非文字图像识别方法和装置
CN114612992A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
WO2021117921A1 (ko) 다중 계층을 포함하는 인공지능 모델의 계층별 추론 분류 성능 평가 방법 및 평가 장치
WO2021117930A1 (ko) 중복 영역 객체 검출 개선을 위한 의미적 필터링 모듈 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20962531

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20962531

Country of ref document: EP

Kind code of ref document: A1