KR20210084118A - 심층신경망 가속기의 동적 전원 제어 장치 및 방법 - Google Patents

심층신경망 가속기의 동적 전원 제어 장치 및 방법 Download PDF

Info

Publication number
KR20210084118A
KR20210084118A KR1020190177106A KR20190177106A KR20210084118A KR 20210084118 A KR20210084118 A KR 20210084118A KR 1020190177106 A KR1020190177106 A KR 1020190177106A KR 20190177106 A KR20190177106 A KR 20190177106A KR 20210084118 A KR20210084118 A KR 20210084118A
Authority
KR
South Korea
Prior art keywords
object recognition
neural network
deep neural
accelerator
image frame
Prior art date
Application number
KR1020190177106A
Other languages
English (en)
Other versions
KR102519144B1 (ko
Inventor
백윤주
임재봉
김찬우
이예은
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020190177106A priority Critical patent/KR102519144B1/ko
Publication of KR20210084118A publication Critical patent/KR20210084118A/ko
Application granted granted Critical
Publication of KR102519144B1 publication Critical patent/KR102519144B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 실시간으로 영상 프레임을 입력받는 영상 프레임 입력부, 상기 실시간으로 입력받은 영상 프레임에 해당하는 객체인식 모델을 관심영역 감지과정과 객체 인식과정으로 분할하는 객체인식 모델 분할부, 상기 분할된 객체인식 모델에 해당하는 각 단일 심층신경망 가속기에 대한 정보를 파악한 후, 상기 파악된 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 정보 분석부, 상기 산출된 심층신경망 가속기 개수에 따라 상기 분할된 객체인식 모델을 재구성하는 객체인식 모델 재구성부, 상기 재구성된 객체인식 모델에 기초하여 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역을 감지하는 관심영역 감지부, 상기 관심영역의 감지 여부에 따라 상기 객체 인식과정의 수행 여부를 결정하여 상기 각 단일 심층신경망 가속기의 전원을 개별적으로 제어하는 가속기 전원 제어부를 포함하여 전력소모를 개선할 수 있다.

Description

심층신경망 가속기의 동적 전원 제어 장치 및 방법{Method and Apparatus for Dynamic Power Management of Deep Neural Network Accelerators}
본 발명은 가속기의 전원 제어 기술에 관한 것으로, 더욱 상세하게는 실시간 영상에 대해 모델 병렬처리를 적용하여 심층신경망 가속기의 전원을 동적으로 제어함으로써, 전력소모를 개선할 수 있는 심층신경망 가속기의 동적 전원 제어 장치 및 방법에 관한 것이다.
최근 심층신경망은 영상인식 분야에서 높은 정확도를 보여 다양한 장치와 응용에 널리 활용되고 있다. 심층신경망은 기존 기계학습 기법과는 달리, 데이터로부터 분류기뿐만 아니라 특징을 학습하여 높은 정확도를 보인다.
다만, 심층신경망을 이용하기 위해서는 특징 공간이 큰 특성으로 인해 많은 저장공간과 높은 계산성능을 요구하는 문제점을 안고 있다. 이에 저장공간과 계산성능이 부족한 장치에서는 별도 서버를 활용하는 클라우드 컴퓨팅을 기반으로 심층신경망을 활용할 수 있다.
클라우드 컴퓨팅은 장치에서 수집한 영상을 서버에 전송하고, 서버에서 심층신경망을 활용한 후 그 결과를 장치에 다시 전송하는 방식으로 동작한다. 다만, 클라우드 컴퓨팅은 서버와 장치 간 통신으로 인해 전력소모가 큰 문제점을 안고 있다. 특히나 웨어러블 장치, 자동차, 해양장치 등 배터리를 전력원으로 하는 장치는 전력소모가 클 경우 동작 시간에 제약을 받는다.
이러한 클라우드 컴퓨팅 기반 영상인식 시스템의 전력소모 문제를 해결하기 위해, 온디바이스 심층신경망을 활용한 저전력 영상인식 시스템의 연구가 필요하다. 온디바이스에서는 서버와의 통신 없이 심층신경망을 활용하여 전력소모를 개선할 수 있다. 또한, 심층신경망의 가속기의 경우 심층신경망 추론 가속 기능을 내장하여 컴퓨팅자원에 비해 심층신경망 추론 시간을 줄일 수 있을 뿐만 아니라 기존 고성능 서버에 비하여 가격이 저렴하고 전력소모를 줄일 수 있는 장점을 가지고 있다.
다만, 이러한 방법 또한 다수의 가속기를 사용할 경우 디바이스의 전력 소모를 증가시키는 문제점을 안고 있다. 특히, 실시간 객체인식을 위해 다수의 심층신경망 가속기를 활용하는 경우, 디바이스의 전력소모가 커지는 문제점을 안고 있다.
한국등록특허공보 제10-1950786호
이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 실시간 영상에 대해 모델 병렬처리를 적용하여 심층신경망 가속기의 전원을 동적으로 제어함으로써, 전력소모를 개선하는 것을 목적으로 한다.
또한, 본 발명은 실시간 객체인식을 수행하기 위해 필요한 심층신경망 가속기의 개수를 산출함으로써, 영상 프레임의 손실을 최소화하는 것을 목적으로 한다.
또한, 본 발명은 모델 병렬처리 적용에 따른 오버헤드를 고려하여 영상 프레임의 손실을 최소화하는 것을 목적으로 한다.
또한, 본 발명은 심층신경망 가속기에 대한 사전정보에 기반하여 가속기 개수를 산출함으로써, 보다 신뢰도 높은 필요 가속기 개수가 도출되도록 하는 것을 목적으로 한다.
또한, 본 발명은 도출된 필요 가속기 개수를 객체인식 모델에 반영함으로써, 전력소모와 동시에 영상 프레임의 손실을 최소화하는 것을 목적으로 한다.
또한, 본 발명은 각 심층신경망 가속기의 전원을 개별적으로 제어하여, 전력소모를 개선하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 심층신경망 가속기의 동적 전원 제어 장치는 실시간으로 영상 프레임을 입력받는 영상 프레임 입력부, 상기 실시간으로 입력받은 영상 프레임에 해당하는 객체인식 모델을 관심영역 감지과정과 객체 인식과정으로 분할하는 객체인식 모델 분할부, 상기 분할된 객체인식 모델에 해당하는 각 단일 심층신경망 가속기에 대한 정보를 파악한 후, 상기 파악된 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 정보 분석부, 상기 산출된 심층신경망 가속기 개수에 따라 상기 분할된 객체인식 모델을 재구성하는 객체인식 모델 재구성부, 상기 재구성된 객체인식 모델에 기초하여 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역을 감지하는 관심영역 감지부, 상기 관심영역의 감지 여부에 따라 상기 객체 인식과정의 수행 여부를 결정하여 상기 각 단일 심층신경망 가속기의 전원을 개별적으로 제어하는 가속기 전원 제어부를 포함할 수 있다.
상기 가속기 정보 분석부는 상기 분할된 객체인식 모델에 기초하여 상기 각 단일 심층신경망 가속기에 대한 객체인식 프레임 시간간격 및 객체인식 추론시간을 포함하는 객체인식정보를 산출하는 객체인식정보 산출부, 상기 산출된 객체인식정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 개수 산출부를 포함할 수 있다.
상기 객체인식정보 산출부는 상기 분할된 객체인식 모델로부터 관심영역 감지추론시간 및 객체 인식추론시간을 포함하는 추론정보를 산출하는 추론정보 산출부, 상기 객체인식 모델의 분할에 의해 발생하는 감지과정 오버헤드 및 인식과정 오버헤드를 포함하는 오버헤드 정보를 산출하는 오버헤드 정보 산출부를 포함할 수 있다.
상기 가속기 개수 산출부는 아래 수학식 1로 표현되는 가속기 개수 산출식에 따라 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출할 수 있다.
<수학식 1>
Figure pat00001
=
Figure pat00002
(
Figure pat00003
: 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수,
Figure pat00004
: 관심영역 감지과정에 필요한 심층신경망 가속기 개수,
Figure pat00005
: 객체 인식과정에 필요한 심층신경망 가속기 개수,
Figure pat00006
: 관심영역 감지추론시간(sec),
Figure pat00007
: 감지과정 오버헤드 시간(sec),
Figure pat00008
: 객체 인식추론시간(sec),
Figure pat00009
: 인식과정 오버헤드 시간(sec),
Figure pat00010
: 객체인식 프레임 시간간격(sec))
상기 객체인식 모델 재구성부는 상기 분할된 객체인식 모델에 포함된 심층신경망 가속기의 개수를 초기화하는 가속기 초기화부, 상기 초기화된 객체인식 모델의 관심영역 감지과정과 객체 인식과정 별로 상기 산출된 심층신경망 가속기 개수를 상기 초기화된 객체인식 모델에 각각 반영하는 가속기 개수 반영부를 포함할 수 있다.
상기 가속기 전원 제어부는 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지될 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 온(on)시켜 상기 객체 인식과정을 수행할 수 있다.
또는, 상기 가속기 전원 제어부는 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지되지 않을 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 오프(off)시켜 상기 객체 인식과정을 수행하지 않을 수 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 심층신경망 가속기의 동적 전원 제어 방법은 영상 프레임 입력부에서 실시간으로 영상 프레임을 입력받는 영상 프레임 입력단계, 객체인식 모델 분할부에서 상기 실시간으로 입력받은 영상 프레임에 해당하는 객체인식 모델을 관심영역 감지과정과 객체 인식과정으로 분할하는 객체인식 모델 분할단계, 가속기 정보 분석부에서 상기 분할된 객체인식 모델에 해당하는 각 단일 심층신경망 가속기에 대한 정보를 파악한 후, 상기 파악된 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 정보 분석단계, 객체인식 모델 재구성부에서 상기 산출된 심층신경망 가속기 개수에 따라 상기 분할된 객체인식 모델을 재구성하는 객체인식 모델 재구성단계, 관심영역 감지부에서 상기 재구성된 객체인식 모델에 기초하여 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역을 감지하는 관심영역 감지단계, 가속기 전원 제어부에서 상기 관심영역의 감지 여부에 따라 상기 객체 인식과정의 수행 여부를 결정하여 상기 각 단일 심층신경망 가속기의 전원을 개별적으로 제어하는 가속기 전원 제어단계를 포함할 수 있다.
상기 가속기 정보 분석단계는 객체인식정보 산출부에서 상기 분할된 객체인식 모델에 기초하여 상기 각 단일 심층신경망 가속기에 대한 객체인식 프레임 시간간격 및 객체인식 추론시간을 포함하는 객체인식정보를 산출하는 객체인식정보 산출단계, 가속기 개수 산출부에서 상기 산출된 객체인식정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 개수 산출단계를 포함할 수 있다.
상기 객체인식정보 산출단계는 추론정보 산출부에서 상기 분할된 객체인식 모델로부터 관심영역 감지추론시간 및 객체 인식추론시간을 포함하는 추론정보를 산출하는 추론정보 산출단계, 오버헤드 정보 산출부에서 상기 객체인식 모델의 분할에 의해 발생하는 감지과정 오버헤드 및 인식과정 오버헤드를 포함하는 오버헤드 정보를 산출하는 오버헤드 정보 산출단계를 포함할 수 있다.
상기 가속기 개수 산출단계는 아래 수학식 1로 표현되는 가속기 개수 산출식에 따라 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출할 수 있다.
<수학식 1>
Figure pat00011
=
Figure pat00012
(
Figure pat00013
: 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수,
Figure pat00014
: 관심영역 감지과정에 필요한 심층신경망 가속기 개수,
Figure pat00015
: 객체 인식과정에 필요한 심층신경망 가속기 개수,
Figure pat00016
: 관심영역 감지추론시간(sec),
Figure pat00017
: 감지과정 오버헤드 시간(sec),
Figure pat00018
: 객체 인식추론시간(sec),
Figure pat00019
: 인식과정 오버헤드 시간(sec),
Figure pat00020
: 객체인식 프레임 시간간격(sec))
상기 객체인식 모델 재구성단계는 가속기 초기화부에서 상기 분할된 객체인식 모델에 포함된 심층신경망 가속기의 개수를 초기화하는 가속기 초기화단계, 가속기 개수 반영부에서 상기 초기화된 객체인식 모델의 관심영역 감지과정과 객체 인식과정 별로 상기 산출된 심층신경망 가속기 개수를 상기 초기화된 객체인식 모델에 각각 반영하는 가속기 개수 반영단계를 포함할 수 있다.
상기 가속기 전원 제어단계는 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지될 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 온(on)시켜 상기 객체 인식과정을 수행할 수 있다.
또는, 상기 가속기 전원 제어단계는 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지되지 않을 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 오프(off)시켜 상기 객체 인식과정을 수행하지 않을 수 있다.
이상에서 설명한 바와 같은 심층신경망 가속기의 동적 전원 제어 장치 및 방법에 따르면,
첫째, 실시간 영상에 대해 모델 병렬처리를 적용하여 심층신경망 가속기의 전원을 동적으로 제어함으로써, 전력소모를 개선할 수 있는 효과를 가진다.
둘째, 실시간 객체인식을 수행하기 위해 필요한 심층신경망 가속기의 개수를 산출함으로써, 영상 프레임의 손실을 최소화할 수 있는 효과를 가진다.
셋째, 모델 병렬처리 적용에 따른 오버헤드를 고려하여 영상 프레임의 손실을 최소화할 수 있는 효과를 가진다.
넷째, 심층신경망 가속기에 대한 사전정보에 기반하여 가속기 개수를 산출함으로써, 보다 신뢰도 높은 필요 가속기 개수가 도출될 수 있는 효과를 가진다.
다섯째, 도출된 필요 가속기 개수를 객체인식 모델에 반영함으로써, 전력소모와 동시에 영상 프레임의 손실을 최소화할 수 있는 효과를 가진다.
여섯째, 각 심층신경망 가속기의 전원을 개별적으로 제어하여, 전력소모를 개선할 수 있는 효과를 가진다.
도 1은 일반적인 실시간 객체인식을 위해 데이터 병렬처리 기법을 적용하지 않은 파이프라인 다이어그램을 나타낸 도면.
도 2는 일반적인 실시간 객체인식을 위해 데이터 병렬처리 기법을 적용한 파이프라인 다이어그램을 나타낸 도면.
도 3은 본 발명의 제1실시예에 따른 심층신경망 가속기의 동적 전원 제어 장치를 나타낸 구성도.
도 4는 본 발명의 제2실시예에 따른 심층신경망 가속기의 동적 전원 제어 장치를 나타낸 구성도.
도 5는 본 발명의 실시예에 따른 심층신경망 가속기의 동적 전원 제어 방법을 나타낸 순서도.
도 6은 도 5에 따른 객체인식정보 산출단계(S310)를 나타낸 순서도.
도 7은 도 5에 따른 객체인식 모델 재구성단계(S400)를 나타낸 순서도.
도 8은 본 발명의 실시예에 따른 모델 병렬처리에 따른 파이프라인 다이어그램을 나타낸 도면.
도 9는 본 발명의 실시예에 따른 심층신경망 가속기의 동적 전원 제어의 오버헤드 감소 과정을 나타낸 상태 다이어그램을 나타낸 도면.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명의 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명의 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한 본 발명과 관련된 공지 기능 및 그 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명을 생략하였음에 유의해야할 것이다.
일반적인 실시간 객체인식 기술은 온디바이스 심층신경망을 적용하고, 심층신경망 가속기를 내장한 디바이스를 활용할 수 있다. 이는 서버와의 통신으로 인한 지연시간 없이, 디바이스에서 실시간 객체인식을 가능하게 할 수 있다.
또한, 이러한 실시간 객체인식을 위해 대량의 프레임이 지속적으로 발생하는 실시간 영상에 대해 데이터 병렬처리를 적용하여 전체 프레임에 대한 총 추론시간을 개선할 수 있다.
도 1은 일반적인 실시간 객체인식을 위해 데이터 병렬처리 기법을 적용하지 않은 파이프라인 다이어그램을 나타낸 도면이다.
도 1을 참조하면, 25fps의 실시간 영상은 40ms 주기로 프레임이 발생하고, 온디바이스 심층신경망을 활용한 객체인식의 성능은 대략 7fps로 객체인식 추론에 140ms가 소요된다. 즉 프레임이 입력되고 140ms 후에 해당 프레임에 대한 결과가 출력된다.
이 때 도 1에 도시된 바와 같이, 객체인식 추론을 위해 1개의 심층신경망 가속기를 활용할 경우, 추론 지연시간으로 인해 하나의 프레임의 추론 중에 발생하는 3개의 프레임은 손실될 수 있다. 즉, 프레임의 25%만 객체인식이 수행되는 문제점을 안고 있었다.
이에 도 1의 경우와 같은 문제점을 개선하기 위하여, 종래기술에서는 도 2와 같이 다수의 심층신경망 가속기를 활용하고 데이터 병렬처리를 적용하였다.
도 2는 일반적인 실시간 객체인식을 위해 데이터 병렬처리 기법을 적용한 파이프라인 다이어그램을 나타낸 도면이다.
도 2를 참조하면, 매 프레임을 서로 다른 심층신경망 가속기에 분산하여 처리함으로써 프레임 손실 없이 모든 프레임에 대해 객체인식을 수행할 수 있다. 도 1의 경우와 같은 동일한 조건의 환경에서는 매 프레임마다 객체인식 추론을 수행하기 위해서 4개의 심층신경망 가속기가 필요하고, 각 심층신경망 가속기는 동일한 객체인식 모델을 내장한다. 프레임이 입력되고 140ms 후에 해당 프레임에 대한 결과가 출력되므로, 추론 지연시간은 데이터 병렬처리 적용 전과 동일하지만, 전체프레임에 대한 총 추론시간을 개선할 수 있다. 이는 4개의 심층신경망 가속기를 활용하여 25fps의 실시간 영상에 대해 25fps의 성능으로 객체인식을 수행할 수 있다. 다만, 이와 같이 실시간 객체인식을 위해 다수의 심층신경망 가속기를 활용하는 경우, 디바이스의 전력소모가 커지는 문제점이 있다.
이러한 문제를 해결하기 위해, 본 발명은 실시간 객체인식을 위하여 모델 병렬처리를 적용함으로써 심층신경망 가속기를 동적으로 전원 제어하여 전력소모를 개선한다. 객체인식 모델을 관심영역 감지과정과 인식과정으로 분할하고, 관심영역 감지 시 영상 프레임 내에 관심영역이 없을 경우 인식과정을 생략함으로써 심층신경망 가속기의 자원소모를 줄일 수 있다. 특히, 심층신경망 가속기에 감지과정과 인식과정에 대한 모델을 분할하여 배정하고, 인식과정 모델을 담당하는 심층신경망 가속기의 전원을 동적으로 제어하여 디바이스의 전력소모를 개선할 수 있다.
한편, 일반적인 심층신경망의 병렬처리(Parallelism) 기법은 데이터를 다수의 자원에 분산하여 처리하는 데이터 병렬 처리 기법과, 심층신경망 모델의 네트워크 구조를 다수의 자원에 분석하여 처리하는 모델 병렬 처리 기법이 있다. 모델 병렬 처리 기법은 모델을 적절하게 분할하여 자원별 할당이 필요하다. 이 모델 분할 방법으로는 심층신경망의 구조적 관점에서 계층별 분할, 입력 피처별 분할, 하이브리드 방법 등이 있다. 본 발명은 그 중에서도 계층별 분할 방법에 기반한 기술이라 할 수 있다.
도 3은 본 발명의 제1실시예에 따른 심층신경망 가속기의 동적 전원 제어 장치를 나타낸 구성도이다.
도 3을 참조하면, 본 발명의 제1실시예에 따른 심층신경망 가속기의 동적 전원 제어 장치는 영상 프레임 입력부(100), 객체인식 모델 분할부(200), 가속기 정보 분석부(300), 객체인식 모델 재구성부(400), 관심영역 감지부(500) 및 가속기 전원 제어부(600)를 포함할 수 있다.
영상 프레임 입력부(100)는 실시간으로 영상 프레임을 입력받을 수 있다.
객체인식 모델 분할부(200)는 상기 영상 프레임 입력부(100)로부터 실시간으로 입력받은 영상 프레임에 해당하는 객체인식 모델을 관심영역 감지과정과 객체 인식과정으로 분할할 수 있다.
가속기 정보 분석부(300)는 상기 객체인식 모델 분할부(200)로부터 분할된 객체인식 모델에 해당하는 각 단일 심층신경망 가속기에 대한 정보를 파악한 후, 상기 파악된 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출할 수 있다.
보다 상세하게, 가속기 정보 분석부(300)는 객체인식정보 산출부(310) 및 가속기 개수 산출부(330)를 포함할 수 있다.
객체인식정보 산출부(310)는 상기 객체인식 모델 분할부(200)로부터 분할된 객체인식 모델에 기초하여 상기 각 단일 심층신경망 가속기에 대한 객체인식 프레임 시간간격 및 객체인식 추론시간을 포함하는 객체인식정보를 산출할 수 있다.
이 때, 객체인식정보 산출부(310)는 추론정보 산출부(311) 및 오버헤드 정보 산출부(313)를 포함할 수 있다.
추론정보 산출부(311)는 상기 객체인식 모델 분할부(200)로부터 분할된 객체인식 모델로부터 관심영역 감지추론시간 및 객체 인식추론시간을 포함하는 추론정보를 산출할 수 있다.
오버헤드 정보 산출부(313)는 상기 객체인식 모델의 분할에 의해 발생하는 감지과정 오버헤드 및 인식과정 오버헤드를 포함하는 오버헤드 정보를 산출할 수 있다.
가속기 개수 산출부(330)는 상기 객체인식정보 산출부(310)로부터 산출된 객체인식정보, 즉 상기 추론정보 및 상기 오버헤드 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출할 수 있다.
가속기 개수 산출부(330)는 아래 수학식 1로 표현되는 가속기 개수 산출식에 따라 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출할 수 있다.
<수학식 1>
Figure pat00021
=
Figure pat00022
(
Figure pat00023
: 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수,
Figure pat00024
: 관심영역 감지과정에 필요한 심층신경망 가속기 개수,
Figure pat00025
: 객체 인식과정에 필요한 심층신경망 가속기 개수,
Figure pat00026
: 관심영역 감지추론시간(sec),
Figure pat00027
: 감지과정 오버헤드 시간(sec),
Figure pat00028
: 객체 인식추론시간(sec),
Figure pat00029
: 인식과정 오버헤드 시간(sec),
Figure pat00030
: 객체인식 프레임 시간간격(sec))
상기 가속기 개수 산출식인 수학식 1의 도출과정을 보다 상세하게 살펴보면 다음과 같다.
객체인식 모델 재구성부(400)는 상기 가속기 개수 산출부(330)로부터 산출된 심층신경망 가속기 개수에 따라 상기 분할된 객체인식 모델을 재구성할 수 있다.
보다 상세하게, 객체인식 모델 재구성부(400)는 가속기 초기화부(410) 및 가속기 개수 반영부(430)를 포함할 수 있다.
가속기 초기화부(410)는 상기 객체인식 모델 분할부(200)로부터 분할된 객체인식 모델에 포함된 심층신경망 가속기의 개수를 초기화할 수 있다.
가속기 개수 반영부(430)는 상기 가속기 초기화부(410)로부터 초기화된 객체인식 모델의 관심영역 감지과정과 객체 인식과정 별로 상기 산출된 심층신경망 가속기 개수를 상기 초기화된 객체인식 모델에 각각 반영하여 객체인식 모델을 재구성할 수 있다.
관심영역 감지부(500)는 상기 가속기 개수 반영부(430)로부터 재구성된 객체인식 모델에 기초하여 상기 영상 프레임 입력부(100)로부터 실시간으로 입력받은 영상 프레임으로부터 관심영역을 감지할 수 있다.
가속기 전원 제어부(600)는 상기 관심영역 감지부(500)에 의한 상기 관심영역의 감지 여부에 따라 상기 객체 인식과정의 수행 여부를 결정하여 상기 각 단일 심층신경망 가속기의 전원을 개별적으로 제어할 수 있다.
가속기 전원 제어부(600)는 상기 영상 프레임 입력부(100)로부터 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지될 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 온(on)시켜 상기 객체 인식과정을 수행할 수 있다.
반면, 가속기 전원 제어부(600)는 상기 영상 프레임 입력부(100)로부터 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지되지 않을 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 오프(off)시켜 상기 객체 인식과정을 수행하지 않을 수 있다.
도 4는 본 발명의 제2실시예에 따른 심층신경망 가속기의 동적 전원 제어 장치를 나타낸 구성도이다.
도 4를 참조하면, 본 발명의 제2실시예에 따른 심층신경망 가속기의 동적 전원 제어 장치는 크게 객체인식 심층신경망 모델, 심층신경망 가속기 클러스터, 심층신경망 가속기 제어부로 구성할 수 있다.
객체인식 심층신경망 모델은 실시간 객체인식을 위하여 입력된 프레임 내 여러 관심영역을 감지하고 각 관심영역의 객체를 인식하는 심층신경망 모델이라 할 수 있다.
심층신경망 가속기 클러스터는 다수의 심층신경망 가속기로 구성할 수 있고, 각 심층신경망 가속기는 심층신경망 모델을 내장하고 프레임을 입력받아 추론을 수행하고 결과를 반환할 수 있다.
심층신경망 가속기 제어부는 객체인식 심층신경망 모델과 가속기 클러스터부를 활용하여 심층신경망 가속기를 활용한 모델 병렬처리와 심층신경망 가속기의 동적 전원 제어를 수행할 수 있다.
도 5는 본 발명의 실시예에 따른 심층신경망 가속기의 동적 전원 제어 방법을 나타낸 순서도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 심층신경망 가속기의 동적 전원 제어 방법은 영상 프레임 입력단계(S100), 객체인식 모델 분할단계(S200), 가속기 정보 분석단계(S300), 객체인식 모델 재구성단계(S400), 관심영역 감지단계(S500) 및 가속기 전원 제어단계(S600)를 포함할 수 있다.
영상 프레임 입력단계는 영상 프레임 입력부(100)에서 실시간으로 영상 프레임을 입력받을 수 있다(S100).
객체인식 모델 분할단계는 객체인식 모델 분할부(200)에서 상기 영상 프레임 입력단계(S100)로부터 실시간으로 입력받은 영상 프레임에 해당하는 객체인식 모델을 관심영역 감지과정과 객체 인식과정으로 분할할 수 있다(S200).
가속기 정보 분석단계는 가속기 정보 분석부(300)에서 상기 객체인식 모델 분할단계(S200)로부터 분할된 객체인식 모델에 해당하는 각 단일 심층신경망 가속기에 대한 정보를 파악한 후, 상기 파악된 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출할 수 있다(S300).
보다 상세하게, 가속기 정보 분석단계(S300)는 객체인식정보 산출단계(S310) 및 가속기 개수 산출단계(S330)를 포함할 수 있다.
객체인식정보 산출단계는 객체인식정보 산출부(310)에서 상기 객체인식 모델 분할단계(S200)로부터 분할된 객체인식 모델에 기초하여 상기 각 단일 심층신경망 가속기에 대한 객체인식 프레임 시간간격 및 객체인식 추론시간을 포함하는 객체인식정보를 산출할 수 있다(S310).
이 때, 객체인식정보 산출단계(S310)는 도 6에 도시된 바와 같이 추론정보 산출단계(S311) 및 오버헤드 정보 산출단계(S313)를 포함할 수 있다. 도 6은 도 5에 따른 객체인식정보 산출단계(S310)를 나타낸 순서도이다.
도 6을 참조하면, 추론정보 산출단계는 추론정보 산출부(311)에서 상기 객체인식 모델 분할단계(S200)로부터 분할된 객체인식 모델로부터 관심영역 감지추론시간 및 객체 인식추론시간을 포함하는 추론정보를 산출할 수 있다(S311).
오버헤드 정보 산출단계는 오버헤드 정보 산출부(313)에서 상기 객체인식 모델의 분할에 의해 발생하는 감지과정 오버헤드 및 인식과정 오버헤드를 포함하는 오버헤드 정보를 산출할 수 있다(S313).
가속기 개수 산출단계는 가속기 개수 산출부(330)에서 상기 객체인식정보 산출단계(S310)로부터 산출된 객체인식정보, 즉 상기 추론정보 및 상기 오버헤드 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출할 수 있다(S330).
가속기 개수 산출단계(S330)는 아래 수학식 1로 표현되는 가속기 개수 산출식에 따라 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출할 수 있다.
<수학식 1>
Figure pat00031
=
Figure pat00032
(
Figure pat00033
: 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수,
Figure pat00034
: 관심영역 감지과정에 필요한 심층신경망 가속기 개수,
Figure pat00035
: 객체 인식과정에 필요한 심층신경망 가속기 개수,
Figure pat00036
: 관심영역 감지추론시간(sec),
Figure pat00037
: 감지과정 오버헤드 시간(sec),
Figure pat00038
: 객체 인식추론시간(sec),
Figure pat00039
: 인식과정 오버헤드 시간(sec),
Figure pat00040
: 객체인식 프레임 시간간격(sec))
객체인식 모델 재구성단계는 객체인식 모델 재구성부(400)에서 상기 가속기 개수 산출단계(S330)로부터 산출된 심층신경망 가속기 개수에 따라 상기 분할된 객체인식 모델을 재구성할 수 있다(S400).
보다 상세하게, 객체인식 모델 재구성단계(S400)는 도 7에 도시된 바와 같이 가속기 초기화단계(S410) 및 가속기 개수 반영단계(S430)를 포함할 수 있다. 도 7은 도 5에 따른 객체인식 모델 재구성단계(S400)를 나타낸 순서도이다.
도 7을 참조하면, 가속기 초기화단계는 가속기 초기화부(410)에서 상기 객체인식 모델 분할단계(S200)로부터 분할된 객체인식 모델에 포함된 심층신경망 가속기의 개수를 초기화할 수 있다(S410).
가속기 개수 반영단계는 가속기 개수 반영부(430)에서 상기 가속기 초기화단계(S410)로부터 초기화된 객체인식 모델의 관심영역 감지과정과 객체 인식과정 별로 상기 산출된 심층신경망 가속기 개수를 상기 초기화된 객체인식 모델에 각각 반영하여 객체인식 모델을 재구성할 수 있다(S430).
관심영역 감지단계는 관심영역 감지부(500)에서 상기 가속기 개수 반영단계(S430)로부터 재구성된 객체인식 모델에 기초하여 상기 영상 프레임 입력단계(S100)로부터 실시간으로 입력받은 영상 프레임으로부터 관심영역을 감지할 수 있다(S500).
가속기 전원 제어단계는 가속기 전원 제어부(600)에서 상기 관심영역 감지단계(S500)에 의한 상기 관심영역의 감지 여부에 따라 상기 객체 인식과정의 수행 여부를 결정하여 상기 각 단일 심층신경망 가속기의 전원을 개별적으로 제어할 수 있다(S600).
가속기 전원 제어단계(S600)는 상기 영상 프레임 입력단계(S100)로부터 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지될 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 온(on)시켜 상기 객체 인식과정을 수행할 수 있다.
반면, 가속기 전원 제어단계(S600)는 상기 영상 프레임 입력단계(S100)로부터 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지되지 않을 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 오프(off)시켜 상기 객체 인식과정을 수행하지 않을 수 있다.
도 3 내지 도 7에 기초하여 본 발명의 심층신경망 가속기의 동적 전원 제어 장치 및 방법을 보다 상세하게 설명하면, 실시간 영상에서 프레임 내 관심영역은 시간 지역성(Temporal Locality)을 강하게 가질 수 있다. 이에 감지된 관심영역이 있는 프레임과, 감지된 관심영역이 없는 프레임은 각각 시간에 따라 지속되는 특징이 있다. 본 발명은 이러한 객체인식의 특징을 활용하여 관심영역이 없는 프레임이 지속될 경우 감지과정을 위한 심층신경망 가속기만 활용하고, 인식과정을 위한 심층신경망 가속기의 전원은 끄는 방법으로 전력소모를 개선할 수 있다.
예를 들어, 감시카메라를 통한 이상감지 응용에서는 감지되는 사람이 없을 경우 인식과정을 위한 심층신경망 가속기의 전원을 끄고 대기하다가, 감지되는 사람이 있을 때 인식과정을 위한 심층신경망 가속기의 전원을 인가하여 인식과정을 수행할 수 있다. 출입 통제 응용도 마찬가지로, 감지된 사람의 얼굴이 없을 경우 인식과정을 위한 심층신경망 가속기의 전원을 제어(전원 off)하여 전력소모를 개선할 수 있다.
도 8은 본 발명의 실시예에 따른 모델 병렬처리에 따른 파이프라인 다이어그램을 나타낸 도면이다.
도 8을 참조하면, 객체인식정보 산출부(310) 또는 객체인식정보 산출단계(S310)는 실시간 객체인식 기능에 대하여 프레임 시간간격
Figure pat00041
와, 단일 심층신경망 가속기에 대해 객체인식 추론시간
Figure pat00042
을 구하기 위하여 시스템의 성능을 평가하기 위한 구성요소 또는 단계라 할 수 있다. 또한 분할한 모델에서 관심영역 감지추론시간
Figure pat00043
와 객체인식 추론시간
Figure pat00044
을 구하고, 모델 병렬처리로 인한 감지과정 오버헤드
Figure pat00045
및 인식과정 오버헤드
Figure pat00046
를 산출할 수 있다.
그리고 가속기 개수 산출부(330) 또는 가속기 개수 산출단계(S330)는 상기 객체인식정보 산출부(310)로부터 산출된 프레임 시간간격
Figure pat00047
와 객체인식 추론시간
Figure pat00048
을 활용하여 프레임 손실 없이 실시간 객체인식을 수행하기 위해서 필요한 심층신경망 가속기의 개수를 구할 수 있다.
종래기술은 다수의 심층신경망 가속기를 활용하여 데이터 병렬처리를 적용하였다. 도 2와 같이 프레임 시간간격
Figure pat00049
과 객체인식 추론시간
Figure pat00050
에 대해 프레임 손실 없이 실시간 객체인식을 수행하기 위한 심층신경망 가속기의 수
Figure pat00051
는
Figure pat00052
이다. 예를 들어
Figure pat00053
가 40ms이고
Figure pat00054
가 140ms일 때
Figure pat00055
는 4개이다.
다만, 본 발명에서 객체인식 추론시간
Figure pat00056
는 관심영역 감지추론시간
Figure pat00057
와 객체인식 추론시간
Figure pat00058
로 나누어지고, 모델 병렬처리로 인한 감지과정 오버헤드
Figure pat00059
및 인식과정 오버헤드
Figure pat00060
를 더하면 관계식은
Figure pat00061
와 같다.
심층신경망 가속기에 객체인식 모델의 감지과정과 인식과정에 대한 모델을 분할하여 배정 시, 프레임 손실 없이 실시간 객체인식을 수행하기 위한 심층신경망 가속기의 수
Figure pat00062
는
Figure pat00063
이다. 모델 병렬처리 시 오버헤드가 0일 경우 필요한 심층신경망 가속기의 수는 동일하거나 하나 더 많다.
예를 들어 도 8과 같이
Figure pat00064
가 40ms,
Figure pat00065
가 140ms,
Figure pat00066
가 70ms,
Figure pat00067
가 70ms일 때
Figure pat00068
는 모델 병렬처리 유무와 관계없이 4개로 동일하다. 다만,
Figure pat00069
가 40ms,
Figure pat00070
가 160ms,
Figure pat00071
가 100ms,
Figure pat00072
가 60ms일 때
Figure pat00073
는 기존에 4개, 모델 병렬처리 시 5개로 심층신경망 가속기가 하나 더 필요하다.
다시 말해, 객체인식 모델 재구성부(400) 또는 객체인식 모델 재구성단계(S400)에서는 가속기 개수 산출부(330) 또는 가속기 개수 산출단계(S330)로부터 산출된 심층신경망 가속기의 수
Figure pat00074
,
Figure pat00075
만큼 심층신경망 가속기를 초기화하고,
Figure pat00076
만큼의 심층신경망 가속기에 감지과정을 위한 분할 모델을 적재하고,
Figure pat00077
만큼의 심층신경망 가속기에 인식과정을 위한 분할 모델을 적재할 수 있다.
예를 들어 도 8과 같이
Figure pat00078
가 40ms,
Figure pat00079
가 140ms,
Figure pat00080
가 70ms,
Figure pat00081
가 70ms,
Figure pat00082
는 4개일 때 가속기 2개는 감지 모델을 적재하고, 나머지 가속기 2개는 인식 모델을 적재할 수 있다. 즉 가속기1, 가속기2는 감지과정만 수행하고 가속기3, 가속기4는 인식과정만 수행할 수 있다. 이 중 인식과정을 수행하는 가속기3, 가속기4는 동적 전원 제어를 적용하여 전력소모를 감소시킬 수 있다.
한편, 관심영역 감지부(500) 또는 관심영역 감지단계(S500), 가속기 전원 제어부(600) 또는 가속기 전원 제어단계(S600)는 도 8에 도시된 바와 같이 심층신경망 가속기를 활용한 모델 병렬처리 방법에 따라 심층신경망 가속기를 준비하는 전원 제어 구성 단계(객체인식 모델 재구성부(400) 또는 객체인식 모델 재구성단계(S400)) 후에 관심영역 감지 및 가속기 전원제어를 수행할 수 있다. 입력되는 프레임들의 관심영역 감지가 지속될 경우, 모든 심층신경망 가속기가 동작하며 감지과정과 인식과정 모두가 수행된다. 다만, 입력 프레임에 감지된 관심영역이 없을 경우, 인식 모델을 위한 심층신경망 가속기의 전원을 끄고 감지과정만 수행함으로써 전력소모를 개선할 수 있다. 다시 관심영역 감지가 일어났을 경우 인식과정을 위한 심층신경망 가속기에 전원을 인가하고 인식 모델을 내장시켜 인식과정을 다시 수행할 수 있다.
도 9는 본 발명의 실시예에 따른 심층신경망 가속기의 동적 전원 제어의 오버헤드 감소 과정을 나타낸 상태 다이어그램을 나타낸 도면이다.
심층신경망 가속기의 동적 전원 제어 방법은 관심영역이 감지된 프레임과 감지된 관심영역이 없는 프레임이 연속적으로 반복하여 발생할 경우, 심층신경망 가속기 전원 제어와 인식과정 모델을 다시 내장시키는 오버헤드가 커져 소실되는 프레임이 증가하는 문제가 발생할 수 있다. 이에 본 발명에서는 도 8에 도시된 바와 같이, 심층신경망 가속기의 동적 전원 제어의 오버헤드 감소 과정을 추가로 제안할 수 있다.
도 9를 참조하면, 본 발명에서는 심층신경망 가속기의 반복적인 전원 제어를 방지하기 위해 연속적인 변화가 일어났을 경우에만 심층신경망 전원 제어를 진행할 수 있다. 즉, 관심영역 감지가 지속적으로 일어나고 인식과정이 동작하고 있을 때, 미감지가 두 번 발생해야만 심층신경망 가속기 전원 제어를 진행할 수 있다. 즉, Strong 상태일 때는 두 번의 변화가 발생할 경우만 상태 변화가 일어나고, Week 상태일 때만 한 번 변화로 상태 변화가 일어나 전원 제어를 진행할 수 있다.
도 9는 Strong과 Week 상태를 가지는 2단계의 상태 다이어그램이다. 이에 더하여 Strong과 Week 상태를 더욱 세분화한 N단계 상태다이어그램을 활용할 수 있다. N이 클수록 전원 제어가 더 안정적으로 동작하여 오버헤드가 감소하나 전원 제어로 인한 전력소모 개선 효과도 감소할 수 있다. 따라서 객체인식 환경에 따라 적절한 N 값 선정이 필요하다.
이상에서 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정들도 본 발명의 범위에 속하는 것으로 간주되어야할 것이다.
100 : 영상 프레임 입력부 200 : 객체인식 모델 분할부
300 : 가속기 정보 분석부 310 : 객체인식정보 산출부
311 : 추론정보 산출부 313 : 오버헤드 정보 산출부
330 : 가속기 개수 산출부 400 : 객체인식 모델 재구성부
410 : 가속기 초기화부 430 : 가속기 개수 반영부
500 : 관심영역 감지부 600 : 가속기 전원 제어부

Claims (12)

  1. 실시간으로 영상 프레임을 입력받는 영상 프레임 입력부;
    상기 실시간으로 입력받은 영상 프레임에 해당하는 객체인식 모델을 관심영역 감지과정과 객체 인식과정으로 분할하는 객체인식 모델 분할부;
    상기 분할된 객체인식 모델에 해당하는 각 단일 심층신경망 가속기에 대한 정보를 파악한 후, 상기 파악된 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 정보 분석부;
    상기 산출된 심층신경망 가속기 개수에 따라 상기 분할된 객체인식 모델을 재구성하는 객체인식 모델 재구성부;
    상기 재구성된 객체인식 모델에 기초하여 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역을 감지하는 관심영역 감지부; 및
    상기 관심영역의 감지 여부에 따라 상기 객체 인식과정의 수행 여부를 결정하여 상기 각 단일 심층신경망 가속기의 전원을 개별적으로 제어하는 가속기 전원 제어부;를 포함하는 심층신경망 가속기의 동적 전원 제어 장치.
  2. 제 1 항에 있어서, 상기 가속기 정보 분석부는,
    상기 분할된 객체인식 모델에 기초하여 상기 각 단일 심층신경망 가속기에 대한 객체인식 프레임 시간간격 및 객체인식 추론시간을 포함하는 객체인식정보를 산출하는 객체인식정보 산출부; 및
    상기 산출된 객체인식정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 개수 산출부;를 포함하는 심층신경망 가속기의 동적 전원 제어 장치.
  3. 제 2 항에 있어서, 상기 객체인식정보 산출부는,
    상기 분할된 객체인식 모델로부터 관심영역 감지추론시간 및 객체 인식추론시간을 포함하는 추론정보를 산출하는 추론정보 산출부; 및
    상기 객체인식 모델의 분할에 의해 발생하는 감지과정 오버헤드 및 인식과정 오버헤드를 포함하는 오버헤드 정보를 산출하는 오버헤드 정보 산출부;를 포함하는 심층신경망 가속기의 동적 전원 제어 장치.
  4. 제 3 항에 있어서, 상기 가속기 개수 산출부는,
    아래 수학식 1로 표현되는 가속기 개수 산출식에 따라 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 심층신경망 가속기의 동적 전원 제어 장치.
    <수학식 1>
    Figure pat00083
    =
    Figure pat00084

    (
    Figure pat00085
    : 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수,
    Figure pat00086
    : 관심영역 감지과정에 필요한 심층신경망 가속기 개수,
    Figure pat00087
    : 객체 인식과정에 필요한 심층신경망 가속기 개수,
    Figure pat00088
    : 관심영역 감지추론시간(sec),
    Figure pat00089
    : 감지과정 오버헤드 시간(sec),
    Figure pat00090
    : 객체 인식추론시간(sec),
    Figure pat00091
    : 인식과정 오버헤드 시간(sec),
    Figure pat00092
    : 객체인식 프레임 시간간격(sec))
  5. 제 1 항에 있어서, 상기 객체인식 모델 재구성부는,
    상기 분할된 객체인식 모델에 포함된 심층신경망 가속기의 개수를 초기화하는 가속기 초기화부; 및
    상기 초기화된 객체인식 모델의 관심영역 감지과정과 객체 인식과정 별로 상기 산출된 심층신경망 가속기 개수를 상기 초기화된 객체인식 모델에 각각 반영하는 가속기 개수 반영부;를 포함하는 심층신경망 가속기의 동적 전원 제어 장치.
  6. 제 1 항에 있어서, 상기 가속기 전원 제어부는,
    상기 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지될 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 온(on)시켜 상기 객체 인식과정을 수행하고,
    상기 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지되지 않을 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 오프(off)시켜 상기 객체 인식과정을 수행하지 않는 심층신경망 가속기의 동적 전원 제어 장치.
  7. 영상 프레임 입력부에서 실시간으로 영상 프레임을 입력받는 영상 프레임 입력단계;
    객체인식 모델 분할부에서 상기 실시간으로 입력받은 영상 프레임에 해당하는 객체인식 모델을 관심영역 감지과정과 객체 인식과정으로 분할하는 객체인식 모델 분할단계;
    가속기 정보 분석부에서 상기 분할된 객체인식 모델에 해당하는 각 단일 심층신경망 가속기에 대한 정보를 파악한 후, 상기 파악된 정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 정보 분석단계;
    객체인식 모델 재구성부에서 상기 산출된 심층신경망 가속기 개수에 따라 상기 분할된 객체인식 모델을 재구성하는 객체인식 모델 재구성단계;
    관심영역 감지부에서 상기 재구성된 객체인식 모델에 기초하여 상기 실시간으로 입력받은 영상 프레임으로부터 관심영역을 감지하는 관심영역 감지단계; 및
    가속기 전원 제어부에서 상기 관심영역의 감지 여부에 따라 상기 객체 인식과정의 수행 여부를 결정하여 상기 각 단일 심층신경망 가속기의 전원을 개별적으로 제어하는 가속기 전원 제어단계;를 포함하는 심층신경망 가속기의 동적 전원 제어 방법.
  8. 제 7 항에 있어서, 상기 가속기 정보 분석단계는,
    객체인식정보 산출부에서 상기 분할된 객체인식 모델에 기초하여 상기 각 단일 심층신경망 가속기에 대한 객체인식 프레임 시간간격 및 객체인식 추론시간을 포함하는 객체인식정보를 산출하는 객체인식정보 산출단계; 및
    가속기 개수 산출부에서 상기 산출된 객체인식정보에 기초하여 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 가속기 개수 산출단계;를 포함하는 심층신경망 가속기의 동적 전원 제어 방법.
  9. 제 8 항에 있어서, 상기 객체인식정보 산출단계는,
    추론정보 산출부에서 상기 분할된 객체인식 모델로부터 관심영역 감지추론시간 및 객체 인식추론시간을 포함하는 추론정보를 산출하는 추론정보 산출단계; 및
    오버헤드 정보 산출부에서 상기 객체인식 모델의 분할에 의해 발생하는 감지과정 오버헤드 및 인식과정 오버헤드를 포함하는 오버헤드 정보를 산출하는 오버헤드 정보 산출단계;를 포함하는 심층신경망 가속기의 동적 전원 제어 방법.
  10. 제 9 항에 있어서, 상기 가속기 개수 산출단계는,
    아래 수학식 1로 표현되는 가속기 개수 산출식에 따라 상기 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수를 산출하는 심층신경망 가속기의 동적 전원 제어 방법.
    <수학식 1>
    Figure pat00093
    =
    Figure pat00094

    (
    Figure pat00095
    : 실시간으로 입력받은 영상 프레임의 객체인식을 위해 필요한 심층신경망 가속기 개수,
    Figure pat00096
    : 관심영역 감지과정에 필요한 심층신경망 가속기 개수,
    Figure pat00097
    : 객체 인식과정에 필요한 심층신경망 가속기 개수,
    Figure pat00098
    : 관심영역 감지추론시간(sec),
    Figure pat00099
    : 감지과정 오버헤드 시간(sec),
    Figure pat00100
    : 객체 인식추론시간(sec),
    Figure pat00101
    : 인식과정 오버헤드 시간(sec),
    Figure pat00102
    : 객체인식 프레임 시간간격(sec))
  11. 제 7 항에 있어서, 상기 객체인식 모델 재구성단계는,
    가속기 초기화부에서 상기 분할된 객체인식 모델에 포함된 심층신경망 가속기의 개수를 초기화하는 가속기 초기화단계; 및
    가속기 개수 반영부에서 상기 초기화된 객체인식 모델의 관심영역 감지과정과 객체 인식과정 별로 상기 산출된 심층신경망 가속기 개수를 상기 초기화된 객체인식 모델에 각각 반영하는 가속기 개수 반영단계;를 포함하는 심층신경망 가속기의 동적 전원 제어 방법.
  12. 제 7 항에 있어서, 상기 가속기 전원 제어단계는,
    상기 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지될 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 온(on)시켜 상기 객체 인식과정을 수행하고,
    상기 실시간으로 입력받은 영상 프레임으로부터 관심영역이 감지되지 않을 경우, 상기 객체 인식과정에 해당하는 심층신경망 가속기의 전원을 오프(off)시켜 상기 객체 인식과정을 수행하지 않는 심층신경망 가속기의 동적 전원 제어 방법.
KR1020190177106A 2019-12-27 2019-12-27 심층신경망 가속기의 동적 전원 제어 장치 및 방법 KR102519144B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190177106A KR102519144B1 (ko) 2019-12-27 2019-12-27 심층신경망 가속기의 동적 전원 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190177106A KR102519144B1 (ko) 2019-12-27 2019-12-27 심층신경망 가속기의 동적 전원 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210084118A true KR20210084118A (ko) 2021-07-07
KR102519144B1 KR102519144B1 (ko) 2023-04-06

Family

ID=76862316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190177106A KR102519144B1 (ko) 2019-12-27 2019-12-27 심층신경망 가속기의 동적 전원 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102519144B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200689A1 (de) 2021-06-28 2022-12-29 Hyundai Motor Company Türscharniervorrichtung für ein fahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243329A1 (en) * 2012-03-15 2013-09-19 Herta Security, S.L. Parallel object detection method for heterogeneous multithreaded microarchitectures
WO2014164158A1 (en) * 2013-03-12 2014-10-09 Qualcomm Incorporated Reducing object detection time by utilizing space localization of features
KR101950786B1 (ko) 2018-10-08 2019-02-21 주식회사 디퍼아이 분산처리용 인공신경망 연산 가속화 방법
US20190279040A1 (en) * 2018-03-09 2019-09-12 Qualcomm Incorporated Conditional branch in machine learning object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243329A1 (en) * 2012-03-15 2013-09-19 Herta Security, S.L. Parallel object detection method for heterogeneous multithreaded microarchitectures
WO2014164158A1 (en) * 2013-03-12 2014-10-09 Qualcomm Incorporated Reducing object detection time by utilizing space localization of features
US20190279040A1 (en) * 2018-03-09 2019-09-12 Qualcomm Incorporated Conditional branch in machine learning object detection
KR101950786B1 (ko) 2018-10-08 2019-02-21 주식회사 디퍼아이 분산처리용 인공신경망 연산 가속화 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200689A1 (de) 2021-06-28 2022-12-29 Hyundai Motor Company Türscharniervorrichtung für ein fahrzeug

Also Published As

Publication number Publication date
KR102519144B1 (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
Amir et al. A low power, fully event-based gesture recognition system
Mahmood et al. Facial expression recognition in image sequences using 1D transform and gabor wavelet transform
US10902302B2 (en) Stacked neural network framework in the internet of things
US20230350351A1 (en) Computer-implemented perceptual apparatus
CN109087335B (zh) 一种人脸跟踪方法、装置和存储介质
Ananthanarayanan et al. Video analytics-killer app for edge computing
Cho et al. Fpga-based face detection system using haar classifiers
KR101828201B1 (ko) 3d 얼굴 모델 재구성 장치 및 방법
US11740941B2 (en) Method of accelerating execution of machine learning based application tasks in a computing device
US20220292819A1 (en) Computer Vision Systems and Methods for Acceleration of High-Resolution Mobile Deep Vision With Content-Aware Parallel Offloading
CN107977662A (zh) 一种实现高速处理计算机视觉图像的分层计算方法
US11498007B2 (en) Measuring and detecting idle processing periods and identifying root causes thereof in cloud-based, streaming applications
US20210150254A1 (en) Tracking control method, apparatus, and computer-readable storage medium
CN109598250A (zh) 特征提取方法、装置、电子设备和计算机可读介质
CN109002789A (zh) 一种应用于摄像头的人脸识别方法
CN113792680A (zh) 基于图像融合的行为识别方法、装置、电子设备及介质
CN115841143A (zh) 使用神经网络对心率和呼吸速率进行联合估计
KR102519144B1 (ko) 심층신경망 가속기의 동적 전원 제어 장치 및 방법
CN108985221A (zh) 视频片段检测方法、装置、设备和存储介质
CN117094362B (zh) 一种任务处理方法及相关装置
US20230229963A1 (en) Machine learning model training
KR102416709B1 (ko) 클라우드 서버 기반의 기계학습 관절정보 추출 시스템 및 그 방법
CN112927127A (zh) 一种运行在边缘设备上的视频隐私数据模糊化方法
Ridwan et al. An event-based optical flow algorithm for dynamic vision sensors
CN113807330B (zh) 面向资源受限场景的三维视线估计方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant