KR20220068357A

KR20220068357A - 딥러닝 객체 검출 처리 장치

Info

Publication number: KR20220068357A
Application number: KR1020200155059A
Authority: KR
Inventors: 이상설; 최병호; 장성준; 박종희
Original assignee: 한국전자기술연구원
Priority date: 2020-11-19
Filing date: 2020-11-19
Publication date: 2022-05-26
Also published as: WO2022107925A1

Abstract

딥러닝 객체 검출 처리 장치가 제공된다. 본 발명의 실시예에 따른 딥러닝 객체 검출 장치는, 객체로 검출된 BB들의 메타 정보를 획득하고, 획득한 메타 정보를 기초로 BB들 중 일부를 선정하며, 선정된 BB들과 후보 BB들을 획득하여 최종 BB들을 결정한다. 이에 의해, 높은 복잡도를 보이는 BB에 대한 후처리의 계산 효율성을 극대화하여 초고속 처리를 가능하게 하면서도 성능의 열화가 거의 없게 되며, 소요되는 전력 소모를 획기적으로 줄일 수 있게 된다

Description

딥러닝 객체 검출 처리 장치{Deep learning object detection processing device}

본 발명은 인공지능 기술 및 이를 적용한 SoC(System on Chip)에 관한 것으로, 더욱 상세하게는 딥러닝으로 객체를 고속으로 검출하는 하드웨어 가속 장치에 관한 것이다.

종래의 고속 딥러닝 기술은 신경망 계층을 가속화하여 OFM(Output Feature Map)을 추출하는 하드웨어 가속기와 최종 OFM을 처리하는 소프트웨어로 구성되어 있다.

시스템의 실시간 목표를 달성하려면 하드웨어 및 소프트웨어 최적화를 필요로 하는데, 후처리는 프로세서의 능력에 따라 처리 시간이 오래 걸리게 되는 경우가 많다. 종래 기술은 실시간 목표를 달성하기 위해 신경망 또는 가속기 부분을 최적화하는 데만 집중되어 있다.

특히, 차량 내부의 시스템에 적용 가능한 후처리 과정을 포함하는 초경량 딥러닝 하드웨어 개발이 부족하며, 최종 연산된 결과를 차량용 제어 시스템과 연동을 위한 데이터 경량 기술도 부족한 상태이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 높은 복잡도를 보이는 BB(Bounding Box)에 대한 후처리를 초고속으로 연산할 수 있는 딥러닝 객체 검출 처리 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 딥러닝 객체 검출 장치는, 객체로 검출된 BB(Bounding Box)들의 메타 정보를 획득하는 제1 모듈; 획득한 메타 정보를 기초로, BB들 중 일부를 선정하는 제2 모듈; 선정된 BB들을 획득하는 제3 모듈; 후보 BB들을 획득하는 제4 모듈; 선정된 BB들과 후보 BB들을 이용하여, 최종 BB들을 결정하는 제5 모듈;을 포함한다.

메타 정보는, 클래스 정보와 확률 정보를 포함할 수 있다. 그리고, 선정 단계는, 확률 크기 순서로 소정 개수의 BB들을 선정할 수 있다. 또한, 소정 개수는, 사용자가 설정 가능할 수 있다. 한편, 선정 단계는, 설정된 확률 값 이상의 BB들을 선정할 수 있다.

BB들은, 딥러닝 가속기로부터 OFM(Output Feature Map)으로 제공받을 수 있다.

결정 단계는, NMS(Non Maximum Suppression)으로, 최종 BB들을 결정할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 딥러닝 객체 검출 방법은, 객체로 검출된 BB(Bounding Box)들의 메타 정보를 획득하는 단계; 획득한 메타 정보를 기초로, BB들 중 일부를 선정하는 단계; 선정된 BB들을 획득하는 단계; 후보 BB들을 획득하는 단계; 선정된 BB들과 후보 BB들을 이용하여, 최종 BB들을 결정하는 단계;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 높은 복잡도를 보이는 BB에 대한 후처리의 계산 효율성을 극대화하여 초고속 처리를 가능하게 하면서도 성능의 열화가 거의 없게 된다.

또한, 본 발명의 실시예들에 따르면, BB의 후처리 연산을 극적으로 줄임으로 인해, 이에 소요되는 전력 소모를 획기적으로 줄일 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 객체 검출 처리 장치를 도시한 도면,
도 2는, 도 1의 딥러닝 객체 검출 처리 장치에서 처리되는 데이터를 도식적으로 나타낸 도면,
도 3은 본 발명의 실시예에 따른 딥러닝 객체 검출 처리 장치의 성능 검증 결과,
도 4는 본 발명의 다른 실시예에 따른 딥러닝 객체 검출 처리 방법의 설명에 제공되는 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

대부분의 딥러닝 처리 장치는 실시간 물체 감지 및 인식을 위한 하드웨어와 및 후처리를 통해 결과를 도출하기 위한 소프트웨어로 나뉘어 진다.

실시간성을 요구하는 어플리케이션에서는 실시간 영상 입력으로부터 저지연으로 최종 결과를 실시간으로 출력해야하는 경우에는 딥러닝 가속 시스템의 처리 속도 향상을 위하여 가속 로직을 고속/초병렬화 설계를 진행할 수밖에 없다.

만약, 후처리 과정이 어플리케이션 프로세서 상에서 소프트웨어로 개발하는 것보다 빠르게 하드웨어로 후처리가 가능하다면, 가속 하드웨어의 고속화 부담이 적어질 것이다.

이를 위해, 본 발명의 실시예에서는, 후처리 과정을 빠르게 처리할 수 있는 하드웨어 구조를 제시한다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 객체 검출 처리 장치를 도시한 도면이다. 본 발명의 실시예에 따른 딥러닝 객체 검출 처리 장치는, 딥러닝 가속 모듈(100)과 후처리 모듈(200)을 포함하여 구성된다.

딥러닝 가속 모듈(100)은 입력 영상에서 객체를 검출하고, 객체 검출 정보를 출력한다. 객체 검출 정보는 검출된 객체들이 BB(Bounding Box)들로 나타나 있는 OFM(Output Feature Map)이다.

도 1에서 딥러닝 가속 모듈(100)의 최종 레이어에서 출력되는 OFM은 BB의 좌표 정보를 포함하는 16개의 채널과 BB의 메타 정보를 포함하는 68 개의 채널로 구성된 것으로 가정한다.

후처리 모듈(200)은 딥러닝 가속 모듈(100)에서 검출된 BB들 중 유의미한 BB들을 최종 BB들로 선정한다.

이와 같은 기능을 수행하는 후처리 모듈(200)은, 소프트맥스 모듈(210), 랭크 정렬 모듈(220), BB 획득 모듈(230), 후보 BB 획득 모듈(240), NMS(Non Maximum Suppression) 모듈(250) 및 최종 BB 출력 모듈(260)을 포함하여 구성된다.

소프트맥스 모듈(210)은 딥러닝 가속 모듈(100)에서 출력되는 OFM에서 BB들의 메타 정보를 추출/획득한다. 메타 정보에는 클래스 정보(분류 정보)와 확률 정보를 포함한다.

구체적으로, 소프트맥스 모듈(210)은 딥러닝 가속 모듈(100)에서 출력되는 50×25O×84 OFM에서 50×25O×68 OFM으로부터 클래스 정보와 확률 정보를 획득한다.

도 1에 도시된 딥러닝 객체 검출 처리 장치에서 처리되는 데이터를 도 2에 도식적으로 나타내었다. 도 2의 좌측 하부와 중앙 하부에 도시된 바에 따르면, 84 채널의 OFM 중 68 채널(0~67 채널)에서 해당 정보를 획득하는 것을 확인할 수 있다.

랭크 정렬 모듈(220)은 BB들을 소프트맥스 모듈(210)에서 획득된 확률 정보들을 크기에 따라 정렬하고, 확률 크기 순서로 소정 개수의 BB들을 선정한다. 선정할 BB의 개수는 사용자가 설정가능하다.

이와 다른 방식으로 사용자가 BB의 개수가 아닌 BB의 확률을 설정할 수도 있다. 이 경우는 확률이 설정 값 이상인 BB만을 선정하게 된다.

랭크 정렬 모듈(220)는 선정한 BB들에 대한 정보를 순서대로 키에 저장하여, BB 획득 모듈(230)로 전달한다.

도 2의 우측 하부에 도시된 바에 따르면, 획득된 클래스 정보와 확률 정보 중 일부 클래스 정보와 확률 정보가 선정되었으며, 이에 대한 정보를 키로 전달하는 것을 확인할 수 있다.

BB 획득 모듈(230)은 랭크 정렬 모듈(220)로부터 전달받은 키에 저장된 BB들을 하나씩 순차적으로 획득한다. 이를 위해, BB 획득 모듈(230)은 딥러닝 가속 모듈(100)에서 출력되는 OFM에서 BB들의 위치 정보를 추출/획득한다. 위치 정보에는 BB의 중심 좌표, 너비 및 높이가 포함된다.

도 2의 좌측 상부와 중앙 상부에 도시된 바에 따르면, 84 채널의 OFM 중 16 채널(68~83 채널)에서 중심 좌표(center X, center Y), 너비(width) 및 높이(hight) 정보를 획득하는데, 키에 저장된 BB들에 대한 정보만을 추출하는 것을 확인할 수 있다.

후보 BB 획득 모듈(240)은 BB 획득 모듈(230)에서 획득된 BB들과 NMS(Non Maximum Suppression) 연산을 수행할 후보 BB들을 획득하는데, OFM에 포함된 모든 BB들이 후보들이 된다.

이에 따라, 후보 BB 획득 모듈(240)에서는 OFM에 포함된 모든 BB들이 하나씩 순차적으로 획득된다.

NMS 모듈(250)은 BB 획득 모듈(230)에서 획득되는 선정된 BB와 후보 BB 획득 모듈(240)에서 획득되는 후보 BB에 대해 NMS 연산을 수행하여, 최종 BB들을 결정한다.

도 2의 우측 상부에 도시된 바에 따르면, 선별된 BB들 중 일부가 최종 BB들로 결정된 결과를 나타내었다. NMS 모듈(250)에서 결정된 최종 BB들을 최종 BB 출력 모듈(260)을 통해 출력된다.

NMS 모듈(250)에서 NMS 연산은 모든 BB들의 조합을 대상으로 수행되지 않는다. 즉, 도 2에 제시된 바와 같이, BB가 5000(=50*25*84)개 인 경우 NMS 연산은 5000*5000번 수행되는 것이 아님에 유념하여야 한다.

랭크 정렬 모듈(220)에 의해 5000개 중 32개만이 선정되었다고 가정하면, NMS 모듈(250)에서 NMS 연산은 32*5000번만 수행된다.

특히, BB 획득 모듈(230)에서 추출/획득하여야 하는 BB의 개수를 많이 줄일 수 있게 되는데, BB 획득 모듈(230)의 획기적으로 처리량 감소는 도 3을 통해 확인할 수 있다.

도 4는 본 발명의 다른 실시예에 따른 딥러닝 객체 검출 처리 방법의 설명에 제공되는 도면이다.

객체 검출 처리를 위해, 먼저, 후처리 모듈(200)의 소프트맥스 모듈(210)은 딥러닝 가속 모듈(100)에서 출력되는 OFM에서 BB들의 클래스 정보와 확률 정보를 획득한다(S310).

다음, 랭크 정렬 모듈(220)은 S310단계에서 획득된 확률 정보들을 크기에 따라 정렬하고, 확률 크기 순서로 소정 개수의 BB들을 선정한다(S320).

그리고, BB 획득 모듈(230)은 S320단계에서 선정된 BB들을 하나씩 순차적으로 획득하고(S330), 후보 BB 획득 모듈(240)은 후보 BB들을 획득한다(S340).

이후, NMS 모듈(250)은 S330단계에서 획득되는 BB와 S340단계에서 획득되는 후보 BB에 대해 NMS 연산을 수행하여, 최종 BB들을 결정한다(S350). 그러면, 최종 BB 출력 모듈(260)이 S350단계에서 결정된 최종 BB들을 출력한다(S360).

지금까지, 딥러닝 객체 검출 처리 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.

위 실시예에서는, 높은 복잡도를 보이는 Bounding Box의 초고속 연산을 위해 계산 효율성을 극대화 하면서도, 성능의 열화가 거의 없도록 하였으며, 이에 의해 가속기와 최종 결과를 도출하는 후처리 과정을 고속으로 처리가 가능하여 저전력 구동을 가능하게 하였다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 딥러닝 가속 모듈
200 : 후처리 모듈
210 : 소프트맥스 모듈
220 : 랭크 정렬 모듈
230 : BB 획득 모듈
240 : 후보 BB 획득 모듈
250 : NMS 모듈
260 : 최종 BB 출력 모듈

Claims

객체로 검출된 BB(Bounding Box)들의 메타 정보를 획득하는 제1 모듈;
획득한 메타 정보를 기초로, BB들 중 일부를 선정하는 제2 모듈;
선정된 BB들을 획득하는 제3 모듈;
후보 BB들을 획득하는 제4 모듈;
선정된 BB들과 후보 BB들을 이용하여, 최종 BB들을 결정하는 제5 모듈;을 포함하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
청구항 1에 있어서,
메타 정보는,
클래스 정보와 확률 정보를 포함하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
청구항 1에 있어서,
선정 단계는,
확률 크기 순서로 소정 개수의 BB들을 선정하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
청구항 3에 있어서,
소정 개수는,
사용자가 설정 가능한 것을 특징으로 하는 딥러닝 객체 검출 장치.
청구항 1에 있어서,
선정 단계는,
설정된 확률 값 이상의 BB들을 선정하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
청구항 1에 있어서,
BB들은,
딥러닝 가속기로부터 OFM(Output Feature Map)으로 제공받는 것을 특징으로 하는 딥러닝 객체 검출 장치.
청구항 1에 있어서,
결정 단계는,
NMS(Non Maximum Suppression)으로, 최종 BB들을 결정하는 것을 특징으로 하는 딥러닝 객체 검출 장치.
객체로 검출된 BB(Bounding Box)들의 메타 정보를 획득하는 단계;
획득한 메타 정보를 기초로, BB들 중 일부를 선정하는 단계;
선정된 BB들을 획득하는 단계;
후보 BB들을 획득하는 단계;
선정된 BB들과 후보 BB들을 이용하여, 최종 BB들을 결정하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 객체 검출 방법.